苗晋卿的字叫元辅，潞州壶关县人，世代都以儒学出名。他考中了进士，被封为怀州修武县县尉，多次升官后任吏部郎中、中书舍人、知吏部选事。入选的人扯皮要好官，纷纷到他面前言辞激烈、态度傲慢地要求，他和他们谈话，从早到晚没有生气的神色。一段时间以后，升任吏部侍郎，因总是宽大放纵，手下官吏因此干坏事。当时天下太平，参加科举的常有一万人，李林甫任吏部尚书，一心掌管国家大政，将科举选官的事交给苗晋卿和宗遥，只是每年任命另一名官员一起参加评卷和录取，考察才能和实际。
天宝二年(743)，决定录取的共六十四人，分为甲、乙、丙三等，定张..为第一名。张..是御史中丞张倚的儿子，张倚新近被皇帝宠幸，苗晋卿想讨好他。张..本来没有学识，因此批评的人议论纷纷。安禄山借机会报告了这事，皇帝为此驾临花萼楼考核实情，录取的人能通过考核的只有十分之一二。张..拿着卷纸一整天，没有落笔，人们称他“交白卷”。皇帝非常生气，贬张倚为淮阳郡太守、宗遥为武当郡太守、苗晋卿为安康郡太守。
第二年，他调任魏郡太守，随即任河北采访使。三年之后，政令教化很突出。
有次入京报账，请求回壶关看望，老远看见城门就下马步行，部下劝阻，他认为：“看见官府的门就应下马，何况是故乡呢？”当地太守迎接犒劳他，让属下县令巡行劝酒，酒斟了，他必定站着喝干，主人敬酒，他从西边台阶下堂跪拜后才喝，当时人赞扬他的恭敬。后调任河东郡太守，兼任河东采访使。又调任抚风郡太守，封高平县男爵。后升任工部尚书、东都留守。又调进京城任宪部尚书，兼任左丞。安禄山反叛了，窦廷芝放弃陕郡不守卫，杨国忠本来忌妒他有声望，就上奏说“：东边是叛军进军的方向，不是重臣不能守住。”任命他为陕郡太守、陕虢防御使，苗晋卿拜见皇帝时，用年迈来推辞，违背了皇帝的心意，就让他退休回家了。皇帝逃到蜀地，大臣多被叛军抓获，苗晋卿从小路逃往金州。
唐肃宗到了扶风，把他召到驻地，任命为左相。收复京城后，又封为韩国公，食实封五百户，调任侍中。后来他请求退休，被免职任太子太傅。不久，又任命为侍中。唐玄宗去世了，唐肃宗病重，下诏命苗晋卿代理冢宰，他坚决推辞说：“故世皇帝有遗诏，要皇帝三天后上朝听政，考察祖宗惯例，没有冢宰的说法，按照先帝遗诏就应由皇帝听朝。希望皇上顺应民心，改变决定，造福天下。”皇帝不听从。几天后，唐代宗登基，又下诏命他代理冢宰，他坚决辞谢才免除了。当时他年纪大，脚病重，请求隔一天去一次政事堂，皇帝优待他，准许他进宰相官署时不行趋礼，驾临小延英殿召他谈话。宰相在小延英殿召见，从苗晋卿开始。吐蕃进犯京城，苗晋卿因病躺在家中，敌人把他抬到官署里威逼他，他闭口不肯说话，敌人不敢加害于他。皇帝回京后，任命他为太保，罢免了他的知政事职。
永泰初年他去世了，享年八十一岁，赠官为太师，命京兆少尹办理丧事，拟赐谥号叫懿献。元载没任高官时，曾受苗晋卿提拔，元载当时任宰相，因此示意有关部门改谥号为文贞。
苗晋卿宽大仁厚，所到之处都以仁惠教化被人称道。魏郡人在他活着时为他建祠庙，树碑赞美他。他两次执政，共任宰相七年，小心谨慎，不过分计较是非得失，因此能保住宠信和名声。他办事干练、通晓制度，各部门的文书，他过目不忘，评论的人把他比作汉代的胡广。
唐肃宗想任命李辅国为常侍，他上奏说：“常侍与皇帝关系亲近密切，不是贤才不能任此职，怎能任命这类人呢？”就罢免了他。朝中想判陈希烈等人为死罪，苗晋卿说“：皇上抓到张通儒、安守忠、孙孝哲等人后，怎么加重处罚呢？”皇帝不听。
不久史思明又反叛了，用这来胁迫叛军。
他曾自己写了父亲的碑文，有喜鹊到碑上做窝。叛军攻进上党，焚烧、抢劫一空，苗家墓地单单没有损坏。大历七年(772)，将他供到唐肃宗庙里接受祭祀。