李勉，字玄卿，是郑惠王李元懿的曾孙。父亲李择言，累任州刺史，封为安德郡公，以善于治理闻名。张嘉贞任益州都督，自视甚高，接待部下刺史时十分倨傲，李择言守汉州时，张嘉贞独独领他与自己同榻坐，谈论政事，名重于当时。
李勉少年时好学，内心沉静儒雅，外貌清洁整齐。开始时任开封尉。开封是汴州水陆的一个都会，民俗杂乱，是号称难于治理的地方。李勉以挫折奸邪、破除隐患知名。跟随肃宗到灵武，升为监察御史。那时，武臣崛起，不守法度，大将管崇嗣背对天子而坐，且笑语喧哗。
李勉严肃批评他的不恭敬。皇帝叹息说“：我有了勉，才得知朝廷之尊严。”升李勉为司膳员外郎。关东献来战俘一百人，即将处死，有人叹息。李勉过去询问，回答说：“是被威逼着才任他的官的，衷心不敢反叛。”李勉入朝见皇帝说“：安禄山叛乱，污染了半个天下。许多人愿意洁身自爱而归天子，但却不可得。如把这些人全都杀掉，反倒是把他们都推到贼寇一边去了。”皇帝立刻驰到俘虏所在处，全部赦免。以后，每天都有归来的官员。
李勉曾任河东王思礼、朔方河东都统李国贞的行军司马，进而任梁州刺史。
李勉暂任王日卒为南郑令。王日卒遭权贵们诬蔑，有诏令诛杀他。李勉说：“现在正需要牧宰来为民父母，治理一方，怎么可以凭谗言而诛杀好官呢？”把王日卒拘捕起来待命。由于李勉的奏请，王日卒得以免死。后来，王日卒任龙门令，果然有好名声。
羌、浑、奴刺联合侵扰，李勉不能守，招回任大理少卿。天子一向看重他的正直不阿，提升为太常少卿，准备重用他。
而李辅国暗示他必须讨好自己，要有所表示。李勉不肯，于是出京任汾州刺史。
后来历任河南尹，转江西观察使。李勉联结邻州，练兵备战，铲平贼人屯守处。
其部下有人的父亲病了，下神祝祷时要找一个能去妖灭病的人。就做了个木偶，上面写上李勉的名字埋在地下。后来事情被发觉，挖出木偶，审出实情，李勉说：“他是为父亲治病，是尽孝。”就放了这人。后来，入京任京兆尹兼御史大夫。其时，鱼朝恩管理国子监，威宠显赫，震惊一时。前任京兆尹黎干巴结谄媚，每当鱼朝恩来，就要办几百人的宴席接待他们。此时，告诉李勉，要李勉也这样做。李勉说：“我到太学来见他，应该他宴请我。如果军容使(指鱼朝恩)到府衙，那就准备招待。”鱼朝恩知道后，心中怀恨，以后再也不到太学来了。
不久，任李勉为岭南节度使。番禺贼人冯崇道及桂州叛将朱济时等人盘据险地叛乱。进犯了十多个州。李勉派将领李观带领容州刺史王罖率兵讨伐，并斩杀了他们。五岭从此平定。西南夷的船只以前每年只有四五条来，征税索要极为苛求。李勉本人廉洁，又不暴征。
第二年，来的贸易船只多到四十多艘。
李勉虽任官很久了，但从不装饰他的车马及用品。后来招他回京，到达石门时，他把家人所收藏的犀珍一齐投入江中。当时人们称赞他，认为他可以继承宋瞡、卢奂、李朝隐等人的风范。其部人到朝廷申请为他立碑颂德，代宗允许。
后来，晋升为工部尚书，封爵开国公。
滑亳节度使令狐彰将死，上表推荐李勉继任，皇帝同意。李勉在镇上一住八年，因原治基础好，李勉依照旧德，不威而治。东帅中一些暴虐者也都敬畏李勉。田神玉死了，诏令李勉去任汴宋节度使，还未起程，汴将李灵耀叛变。魏州将田悦也派兵来，屯扎汴州。李勉与李忠臣、马燧合力征讨。淮西军李忠臣据汴北，河阳军马燧守汴东，大将杜如江、尹伯良在匡城与田悦迎战，失败。田悦去与李灵耀联络合垒，李忠臣的将军李重倩夜里突袭田悦营垒，河阳马燧也击鼓杀来，田悦不待战就溃败。田悦逃往河北，李灵耀逃奔韦城，被永平将领杜如江抓获。李勉将李灵耀传送到京师，在阙下斩杀。后来李忠臣专有汴州，所以李勉仍回滑台。第二年，李忠臣被手下人驱逐。于是又诏令李勉去治理汴州。
德宗即位，加官同中书门下平章事，不久，任汴宋、滑亳、河阳等道的都统。
建中四年，李希烈围攻襄城，诏令李勉出兵援救，同时皇帝又派神策将刘德信率领三千人马去援接。李勉上奏说：“贼人以精兵围攻襄城，那许州必然空虚，派兵直捣许州，襄州之围可解。”不等朝廷答复，就派将领唐汉臣与刘德信，移兵袭许州。但距许州还有几十里，中使带诏令来，责备他们违背命令。唐汉臣、刘德信害怕而回，宿在扈涧，没有设防，被贼人抓住机会，掩杀过来，死伤一半，辎重兵械全部丢失。唐汉臣逃到汴州，刘德信逃到汝州。李勉担心东都危急，再派兵四千去助守东都。贼人截住了他们的后路，不得回归。那时，李希烈自己带兵来攻李勉。李勉无援，闭城坚守，几个月都没有援兵来。于是集中全部兵力一万人突围而出，东去保住睢阳。
兴元元年(784)，李勉坚持辞去都统职，以检校司徒平章事身份召回。见到皇帝后，以素衣待罪，皇帝不加罪，待遇与过去一样。李勉自觉惭愧，内心不安。
以后，只照常规办事，不敢再有所建议。
贞元初年，皇帝起用卢杞为刺史，令给事中袁高草拟制书。袁高认为卢杞是反复无常的小人，不肯下笔拟制。皇帝令别的官草制，大家都不肯，皇帝问李勉“：大家都说卢杞奸邪，我并不知道，为什么？”
李勉说“：天下人都知道，独独陛下不知道。这就是道道地地的奸邪。”当时虽怕犯众怒，没有大用卢杞，但也从此渐渐疏远了李勉。李勉任宰相两年后辞职，仅任太子太师。死时年七十二岁，追赠太傅，赐谥为“贞简”。
李勉年轻时，家境不好，客居梁州、宋州，与另一些学生同住客栈。有个学生病危将死，拿出一块白金交给他：“旁边没人知道这件事，希望你用这钱为我埋葬，多余的钱就送给你。”李勉答应了。
入葬时，李勉秘密地把剩下的钱放置在棺材下面。后来，那人的家属来见李勉道谢，李勉与他家人一同挖开坟墓拿出剩钱交还他们。李勉身为将相，他所得的赏赐，全都分赠亲戚朋友。他死后，家无余财。当他任职朝廷时，也耿直廉介，能为众臣的表率。他能始终礼贤下士，曾经招引李巡、张参两人在幕府，后来两人死了，每次在府中宴饮，还为他两人设座位，一如他们还在时。他每派出戍兵，都要检查他们的钱粮带够了没有，春秋两季，都要到他们家中去慰问，所以人们肯为他效命。李勉擅长弹琴，常有自制曲，天下都欣赏且极珍视，乐家所传《响泉》、《韵磬》，都是李勉所爱的曲子。