成淹，字季父，上谷居庸人。喜好文学，有气慨。在南宋任员外郎，兼领军主，曾领军救援过东阳、历城。皇兴年间，向慕容白曜投降。到京城，被北魏朝廷授予著作佐郎的职务。这年，献文帝想在十一月去漠北巡视，朝臣以气候十分寒冷劝阻，不被采纳。成淹呈上《接舆释游论》一文，献文帝看了，对尚书李讠斤说“：你们说的都不如成淹的这篇文章，他很理解我。”便下令停止北巡。
太和年间，文明太后去世，南齐派散骑常侍裴昭明、散骑侍郎谢竣等人前来吊唁，想穿着朝服参加丧礼，负责接待他们的主客官不同意，而裴韶明等人又固执己见，不愿改变。孝文帝命尚书李冲挑选一名有学识的人与南朝使者论争。李冲奏请派遣成淹。裴韶明问“：不让穿朝服参加丧礼，是出自什么典章？”成淹答道“：戴着上朝时戴的帽子，不能参加祭吊，这是小孩们都知道的礼节。过去季孙将要去参加丧礼，先请教吊丧的有关礼节。千百年来，人们还都在称颂他。你问出自什么典章，是多么令人奇怪啊！”裴韶明接道：“齐高帝驾崩，北魏派李彪吊唁，没有穿素净的丧服，齐朝也没有提出什么疑问。”成淹说“：李彪吊丧的时候，朝廷命他穿丧服参加。他不遵照高崇文成帝追慕远方亡者的感情，过了一个月才到达。齐国的君臣都已经穿着佩带玉石的朝服站满了朝堂，李彪一行怎么能穿着丧服夹在色彩斑斓的朝服中间？我们的皇太后去世以来，朝廷所有的官员都听命于吏部尚书的安排，您怎么能用今天的事和过去的事相比呢？”裴韶明便摇晃着头说：“三皇五帝时，礼仪不尽相同，怎么知道谁对谁错呢？”成淹听了反问道：“如果照这种说法，你认为虞舜和文成帝都不对了”裴韶明笑着看他，说：“对于那不尽孝礼的，孔老夫子有制定好的制度，我没有什么好说的。我们只有自己带的衣服，无法穿着参加吊唁。希望借给我们丧服丧帽，以完成我们前来参加丧礼的使命。现在被你们魏朝逼迫，回到齐朝时，一定会因为我们违犯本朝的规定而受到惩罚。”成淹说“：齐朝如果有懂得礼仪的君主，会因你将朝廷的命令折中变通，而给你很高的奖赏。如果没有这样的君主，但却让你光大了国家的荣誉，虽遭到无理的惩罚，又有什么怨言？南史、董狐这类正直的史官自然会秉笔直书。”不大一会儿，就给裴韶明等人送来丧服丧帽，第二天一早领他入宫祭奠。同时，令文武大臣陪着南朝使者极尽哀悼之情。
后来，齐派散骑常侍庾荜、散骑侍郎何宪、圣书邢宗庆等出使魏，孝文帝命成淹在外馆接待。邢宗庆对成淹说“：南北通好已经很长时间了，而你们背信弃义，断绝友好的交往，为了一国的利益攻打我们，这是一个大国友善地对待邻国的态度吗？”成淹回答“：做天子的不拘泥于细枝末节，怎能像尾生高那样为儿女私情而坚守信约！况且齐的先主原来是刘宋时的大臣，怎么能找机会夺取人家的政权？”邢宗庆、庾荜以及随从来的人都互相看着，脸上改变了颜色。何宪知道成淹是过去从南朝归附北魏的，便用手捂着眼问“：你为什么不做背魏降汉的于禁，而要做忠于东吴的鲁肃？”成淹说：“我舍弃违背天意的南朝，归降顺乎天意的北魏，想效法陈平、韩信，去做什么于禁？”何宪等人无言以对。
王肃从南齐入魏，孝文帝外出巡游，大多让他跟从，又命成淹为他当引导，如果遇上古迹，都要让成淹讲解。走到朝歌，王肃问：“这座城是什么地方？”成淹答“：殷纣王的行都朝歌城。”王肃说“：这里该有殷的遗民。”成淹说“：过去武王打败纣王以后，将他们迁居河洛一带。中间因刘渊、石勒祸乱中华，殷的遗民便随司马氏政权东渡长江。”王肃知道成淹家住青州，便开玩笑地说：“青州未必没有殷纣王的遗种。”成淹因王肃家本来隶属徐州，便反唇讥讽：“要说青州，原来不是殷朝管辖的地方。徐州那里今日来的这个人，不知道是不是纣王的后代？”王肃被逗得趴在马鞍上捂着嘴大笑，对侍御史张思宁说：“我前面不过开个玩笑，便被弄得无言以对。”张思宁将这件事报告给孝文帝，孝文帝非常高兴，对彭城王元勰说“：成淹这段话足可以胜过对方。”孝文帝回到洛阳，王肃因奉命参加宴会，孝文帝笑着问他：“最近到朝歌，听说成淹和你有一段对话，你试着再重复一遍。”王肃说“：我在朝歌失言，一次已经够了，哪能再重复呢？”说罢又大笑起来。王肃说成淹有才干，善于言辞，应提拔重用。孝文帝说：“如果因此提拔他，恐怕对你羞辱得更厉害。”王肃说“：我委屈自己而使别人显达，正可以显出我的美德。”孝文帝说“：你被人屈辱，却想求得屈己达人的名声，这对你大有好处。”王肃说：“成淹既被提拔，我又能得到屈己达人的美名，陛下真可以说惠而不费。”说完又大笑不止。孝文帝便赐给成淹御马一匹，并佩有鞍鞯笼头；朝服一套。不久，成淹被任命为仆射。
当时，迁都洛阳，孝文帝因成淹家里贫穷，下令拨给他力役帮忙。到了洛阳，让他与家人住在一起。孝文帝准备渡淮南征，下令召请成淹。他在路旁求见孝文帝，劝说道：“对敌人不可小视，希望圣上要有保证万全的方略。听说从洛阳出发以来，不少劝谏的大臣都被解除官职，这恐怕不是圣明的英主采纳臣下建议所应该做的。”孝文帝赞扬他的话，并同意了他的意见。孝文帝率大军到达徐州，命成淹与闾龙驹二人专门负责筹集船只，准备由泗水渡入黄河，再西上返回洛阳，军队到了..郂，成淹认为黄河水流湍急，怕出危险，便上疏劝谏。孝文帝对他说“：我认为原来的国都在恒、代一带没有水上运粮的道路，所以，京城的百姓才贫穷。现在迁都到伊河和洛河旁边的洛阳，是想沟通与四面八方的运输。黄河水大流急，人们都认为难以渡过，我借此机会乘船西上，就是消除人们对黄河的畏惧之心。我知道你的奏章是出于至诚，但不能采纳。”赐给他骅骝马一匹，衣服、帽子一套，授予羽林监和主客令的官职。
当时，宫殿刚刚建筑，每天运来的木材等物资数以万计，伊河和洛河的流水干涸，运夫们苦于跋涉。成淹便启奏朝廷，命都水衙门负责建造浮桥。孝文帝接受他的建议，想在众人面前表彰他，第二天早晨上朝，文武百官都在旁边，便赐给他一百匹帛，任他为左右二都水事的官职。
景明三年(502)，他出任平阳太守。回到朝中，因病去世。朝廷赠给他光州刺史的官衔，谥号为定。