吕元膺字景夫，郓州东平人。曾祖吕绍宗，任右拾遗。祖父吕霈，任殿中侍御史。父吕长卿，任右卫仓曹参军，后来靠了吕元膺得以追赠秘书监。吕元膺品性不凡胸襟宏大，有公卿王侯的气度。建中(780～783)初，参加贤良方正科考试及第，授同州安邑县尉。同州刺史侯钅乔闻知他的名声，召他做长春宫巡官。恰值蒲州盗贼侵袭，侯钅乔失去立身之地，吕元膺也就隐藏踪迹不再追求仕进。
贞元(785～805)初，论惟明任淮北节度使，吕元膺应邀做幕僚，从此名声达于朝廷。论惟明去世，王栖曜代理其职。德宗让王栖曜将吕元膺留在官署任职，参谋军政事务。先后调任殿中侍御史，征召入朝实授此职。又升任侍御史。逢继母去世，服丧期满，授右司员外郎，出任蕲州刺史，颇有施恩重义的好名声。曾于岁末视察监狱，囚犯中有人诉说：“我有父母在，明日正月初一却不能相见。”因而伤心落泪。吕元膺怜悯他们，全都解除刑具让他们回家，约定时间返回监狱。负责看守的狱吏劝道：“贼人不可放纵。”吕元膺说：“我是以真诚和信义对待他们的。”到了规定时间，没有一个犯人迟回。因此群盗感激他的情义，相约不在蕲州犯案。元和(806～820)初，征召回京授右司郎中、兼侍御史知杂事，调任谏议大夫、给事中。批评规劝，辩是论非，十分尽责。待到镇州王承宗叛乱时，宪宗欲封吐突承璀为招讨处置使。吕元膺同给事中穆质、孟简以及兵部侍郎许孟容等八人，直言反对认为不可。并说道：“承璀虽身贵位尊，但身为宦官。如果他做主帅统领兵马，恐怕诸将不服。”所言明白中肯，被宪宗采纳，替吐突承璀改了封使名号，可他仍然独掌兵权，结果无功而还。吕元膺出任同州刺史，到入朝谢恩那天，皇上问他对当前治政得失的看法，吕元膺一一陈说，情辞慷慨激烈，得到皇上赞许。次日皇上对宰相说：“吕元膺能直言有正气，应留在朕身边，让他评论政务得失，众卿以为如何？”李藩、裴土自庆贺道：“陛下纳谏，超过前代所有君王，实为宗庙社稷万世无疆之喜庆事。臣等不能广为搜求端直之士，又不能时时进献忠言，辜负了圣上爱心，理当问罪。请留元膺在陛下身边供职。”随即便让吕元膺兼任太子侍读，赐紫服金鱼袋。
不久官拜御史中丞，没多久，授鄂岳观察使，入朝任尚书左丞。度支使潘孟阳与太府卿王遂交相上奏争执，结果潘孟阳授散骑常侍，王遂派任邓州刺史，诏书上都写着美辞嘉语。吕元膺将诏书封缄退还，请求写明二人行为的是非曲直。江西观察使裴堪奏报虔州刺史李将顺贪赃情状，朝廷未经复查，立即将李将顺贬为道州司户。吕元膺说：“廉使奏刺史犯贪赃之罪，不复查核实即行贬谪，即使裴堪之言可信，这种做法也不可取。”又封还诏书，请求朝廷派御史前往查问，宰臣不能定夺。后吕元膺替代权德舆任东都留守、检校工部尚书、兼御史大夫、都畿防御使。按照旧例，留守一概赐予旗帜和甲衣，和方镇待遇相同。及至吕元膺受任留守却不赐，朝官们认为淮西有战事，特地用吕元膺留守洛阳，不宜削减仪仗规格而降低他的威信，谏官们援引华、汝、寿三州之例陈述看法。皇上说：“这几处，都应该不赐。”留守而不赐旗甲的规矩，就是从吕元膺开始的。
元和十年(815)七月，郓州李师道留居邸宅埋伏甲士阴谋叛乱。当初，李师道在东都修建府第宅院，兵士细作出入混杂，官吏不敢查辨。因吴元济向北进犯，京郊多警报，防御之兵尽去伊阙驻守。李师道埋伏百余甲士于府宅，准备焚烧宫室，大肆掠杀。已经烹牛宴餐兵士，第二天就要起事。恰好小将李再兴密告变乱之事，吕元膺到伊阙追回军队，将李师道邸宅围困半日，没人敢攻进去，防御判官王茂元斩杀一人后兵士们这才进攻。有的兵士毁墙进去，众贼人奋力冲出，围困的士兵惊恐奔逃。贼人紧紧靠在一起，让妇女儿童跟着一起走，出了长夏门，在郊外抢掠民舍，夺人牛马，东渡伊水，朝山区而去。吕元膺传令驻境军士，悬赏重金捕捉贼人。数月后，有山民在集市上卖鹿，发现贼人经过，立即召集他的同伙，引来官兵将贼人围在山谷中，尽数俘获。追查贼首，原来是中岳寺僧圆净，八十余岁，曾在史思明手下为将，魁梧忄票悍过人。刚捉住他时，命人折断他的胫骨，可是锤不断。圆净骂道：“连折断脚都不会，还称得上是健儿吗？”说罢伸出脚教兵士将自己的脚折断。临刑时叹息道：“误了我的事啊，没能让洛阳城流血！”被处死的共数十人。其中留守防御将领二人，都亭驿卒五人，甘水驿卒三人，都暗中接受了圆净的委任而替他充当耳目，从开始密谋到事败之前一直无人知晓。先前，李师道在伊阙、陆浑两地间大量购置田地，共计十余处，所以有钱施舍山民供其衣食之用。有叫訾嘉珍和门察的两个人，暗中谋划部署，使这些钱财都归属圆净。他们表面装作用李师道的千万钱财修理佛寺，实际指望訾嘉珍秘密起事时用在山中点火做饭，聚集两县山民造反作乱。待到查清案情，訾嘉珍、门察都供认自己是杀害武元衡的凶手。吕元膺将案情上报朝廷，将犯人押送京师，赏赐出首叛乱者杨进、李再兴锦彩三百匹、宅第一片，授予郎将之职。吕元膺随即请求召募中原子弟来保卫宫城，朝廷应允。盗贼生发之日，都城震恐，留守之兵人少力弱不足依赖，而吕元膺坐镇皇城门，指挥部署，气度自如，因此居民人心安定。
数年后，吕元膺调任河中尹，兼河中节度使等职。当时方镇多生事变姑息养奸，惟独吕元膺立身行事能坚守正道，监军使以及往来的宫中显贵，无不敬而畏之。后入朝拜吏部侍郎，因患病执意辞谢，便改授太子宾客。元和十五年(820)二月去世，年七十二，追赠吏部尚书。
吕元膺学识深远，处事得体，在朝中肃然而立，有宰相三公的威仪。当初吕元膺到京师做官时，前宰相齐映对人说：“我没赶上见到娄师德、郝处俊，大概他们就是吕元膺一类的人吧！”吕元膺无论执行公务还是办私事，始终没有过失。