李德林字公辅，博陵安平人。祖父李寿，任魏湖州户曹从事，父敬族，历任太学博士、镇远将军。魏静帝时，命当世学问渊博之人订正文献图籍，任内校书，供职于直阁省。
李德林自幼聪明机敏，年仅数岁，诵读左思《蜀都赋》，十多天就会背诵了。高隆之见了，大为惊奇，告诉满朝文士说“：待他长大后，肯定是天下了不起的人物。”邺京人士多到李德林家宅来看他，一个多月里，车马不绝。十五岁时，背诵《五经》和古今文集，每日几千字。很快就博览经史典籍，阴阳纬候之书亦是无不涉猎。很会写文章，文词核实，理义通畅。魏收曾当着高隆之的面对李德林的父亲说：“你儿子的文章才华，终会继承温子升，成为文章大家。”高隆之大笑道“：魏常待这么妒嫉贤才，为何不近比老彭，却要远比温子升呢？”
李德林十六岁时死了父亲，自己驾着灵车，归葬家乡。时值严冬，李德林穿着单薄的孝服，赤着脚，州里人们看到后，更加敬慕他。李德林贫穷坎坷，母亲多病，就居家读书，没有去做官的意思。后来，母亲的病稍稍好一些，就被逼令出去做官。齐任城王高氵皆任定州刺史，看重他的才能，召入州馆，朝夕同游，像师生朋友一样。
后举秀才，尚书令杨遵彦考试定为优秀，授李德林殿中将军之职。长广王任丞相时，任命李德林为丞相府行参军。不久，长广王即皇帝位，李德林累迁中书舍人，加授通直散骑侍郎，另掌机密要务。遭母丧，因十分孝顺而闻名，得到朝廷的嘉奖。守丧百日，朝廷强令复职，李德林坚辞不起。魏收与阳休之讨论《齐书》起元之事，百司会同讨论。魏收和李德林书信来往，商议此事，词多不载。后任中书侍郎，仍诏令修撰国史。其时齐帝留意文章雅事，召李德林入文林馆，与黄门侍郎颜之推同判文林馆事。多次升迁至仪同三司。
周武帝平定齐国，派遣使者到李德林宅第宣读圣旨说：“平定齐国的用意，只在于你，应入京相见。”就命令李德林跟随车驾到长安，授任内史上士，诏书诰命的格式和擢用山东人物一类的事情，都委托给李德林。周武帝对群臣说“：我往日听说李德林为齐朝草撰书檄，我只说他是天上之人。岂知今天为我所用，又替我作文书，大是奇异。”神武公纥豆陵毅回答说：“臣听说，圣明的君主得到麒麟凤凰这样的祥瑞之物，是圣德所感而致，不是人力能令他们来的。祥瑞之物虽来，却是不能使用。像李德林这样来受驱使，也是陛下圣德感化的结果，有大才使用，远胜于麒麟凤凰这些祥瑞。”武帝大笑道：“确实像你说的。”宣政年末，授李德林御正下大夫之职。后又赠爵成安县男。
宣帝病危，隋文帝初受天子遗诏，令邗国公杨惠对李德林说“：朝廷赐命总揽文武之事，如今想和您共同理政，请您一定不要推辞。”德林答道“：愿以死奉公。”隋文帝非常高兴，即召李德林叙话。刘窻、郑译当初假传圣旨，召隋文帝受命辅助少主，总管内外兵马事务。郑译想授隋文帝宰相之职，自摄大司马之职，刘窻任小冢宰。李德林私下告诉隋文帝说：“应任大丞相，假黄钺，都督内外诸军事。”于是隋文帝就任命郑译为相府长史，刘窻为相府司马，二人因此愤愤不平。任命李德林为相府属，加授仪同大将军。
不久，三方乱起，指挥调度兵马之事，隋文帝都是和李德林商议。军书羽檄，早晚不断，一天之内，动辄超过百数。有时各种书檄急待发出，李德林就口授数人，头绪繁多，却用不着修改。郧公韦孝宽任东道元帅，大军到了永桥，沁水暴涨，孝宽的军队不能渡河。长史李询秘密告诉隋文帝说“：诸位大将都接受了尉迟迥的贿赂。”隋文帝听说后，甚是忧虑，商议派人取代韦孝宽。李德林说“：临敌易将，自古以来都是件难事，乐毅就是因为临阵易将才离开了燕国，马服君也因临阵易将使赵国被打败。您只要派一个明于智略又平素为诸将所信服的心腹之人，迅速赶到韦帅大军的驻地，观察一下真假虚实。诸将即使有其他想法，也必定不敢有什么举动。”隋文帝道“：公不说这番话，几乎坏了大事！”即令高赹迅速赶到大军驻地，节制调度诸将，终于大获成功。李德林所献的谋略，都是这一类的。
晋升为丞相府从事内郎。隋文帝禅代之际，其总百揆、九锡殊礼诏策笺表玺书等，皆出自李德林之手。隋文帝即位那天，任命李德林为内史令。当初，文帝将要禅代时，虞庆则等人劝隋文帝杀尽宇文氏，李德林坚决争辩，认为不可那样做。隋文帝恼怒李德林，因此不给他加官晋爵，只是按朝班旧例，授职上仪同，晋爵位为子。
开皇元年(581)，敕令李德林与太尉于翼、高赹等人同修律令。律令修讫，奏闻文帝，特赐骏马和九环金带。五年(585)，敕令李德林撰写隋文为丞相时的文章，刻成五卷，取名为《霸朝杂集》。隋文帝阅读过之后，次日天明对李德林说：“自古以来，帝王之兴必定有异人辅佐。我昨天读《霸朝集》，才知道天人感应的道理。昨天夜晚只恨夜太长，不能早一点与公相见。”于是追赠李德林父为定州刺史、安平县公，谥号为孝。隋文帝后临幸邺城，李德林因病没有跟随而去。敕令随后跟上，后面御笔注道：“征伐陈国之事，意欲相商，应随后而至。”这时，高赹回京师，文帝告诉高赹说：“李德林若病重不能远行，应该亲自到宅第，听取他的方略。”文帝把李德林的献策交给了晋王杨广。
当初，周静王大象年末，隋文帝把叛乱之人王谦的宅第赐给李德林，很快又改赐给崔谦，文帝令李德林自选一处好宅院和庄舍来替代。李德林就奏请用叛逆者高阿那肱卫国县市店八十区来代替。九年(589)，文帝车驾到晋阳，市店的人上表申诉，说那片地是平民百姓的，高氏强行夺取，在里面建造房舍。文帝责怪李德林。李德林请求勘问叛乱者的文簿和当初换宅第的用意，文帝不理睬，把那些店房都追回来交给最初住在那里的人。文帝因此嫌弃李德林。早先，李德林说他的父亲是太尉咨议，以博取赠官，李元操等人私下上奏说：“德林的父亲官终校书，却假说是咨议。”文帝因此非常忌恨李德林。到了这个地步，又庭议时违忤文帝的意思，文帝因此责怪他说“：公为内史，主管朕的机密，近来那些不参与计议的人，都认为公不够大度。朕方用孝治理天下，故立五教来弘扬孝义。公却说孝出自天性，不必设教。如果这样的话，孔子就不应解说《孝经》了？公又妄取平民之店，妄加父亲之官，朕实在很愤慨，但又没有说出来。如今给你一个州官去做吧！”于是，李德林被贬出京城，出任湖州刺史。在湖州时逢大旱，抽人头税用来挖井浇田，遭到考司的贬斥。过了一年多，死于官任，时年六十一岁。追赠将军、廉州刺史，谥号为文。将要安葬的时候，敕令羽林军一百人，鼓吹一部，以供丧事之用，以太牢之礼祭之。
李德林容貌俊美，谈吐不凡，器量深沉，当时的人都不能测度。齐任城王高氵皆、赵彦深、魏收、陆瞫等人对李德林十分钦敬。李德林自幼丧父，有名无字，魏收对他说：“卿识度不同凡响，日后必至公辅之位，我就取公辅二字作为卿的字吧。”进入仕途之后，就掌管机密要务，生性细致审慎。李德林曾经对人说过，古人为保守宫廷机密，不言温树，没有什么可称赞的。少年时就因才学出众广为人知，到有了一定的官位名望之后，就显得有些自负了，争竞钻营之徒，借机大肆谗谄诋毁。因此，虽然生逢王者之兴，功劳可与佐命大臣相比，但十多年间，竟然没有得到提升。撰写的文集，刻为八十卷，因遭战乱散失许多，仅有五十卷流传于世。