李义府，瀛州饶阳人，其祖父曾任射洪丞，因而客居永泰。贞观年间，李大亮巡察剑南，上表称李义府有才，对策时中选，补为门下省典仪。刘洎、马周也推荐他，太宗召见后转任监察御史，诏令侍晋王。后来晋王立为太子，任李义府为舍人、崇贤馆直学士，与司议郎来济都以文笔著称，当时称之为“来、李”。义府曾献《承华箴》，文末说：“阿谀谗媚实不少，奸邪巧饰有多方，萌芽不彻底铲除，危害必严重显著。”其时，李义府正在巴结奉承太子，而文章却像是耿直坦荡的人。太子上表夸奖，得皇帝优诏赐帛。
高宗即位，升李义府为中书舍人、兼修国史，进弘文馆学士。长孙无忌厌恶其人品，上奏斥他为壁州司马，诏书还未下发，义府知道后，与舍人王德俭商议对策。王德俭，是许敬宗的外甥，颈上长个瘤，但人很聪明，善于看风使舵，乃对义府说“：武昭仪现在正得宠，皇上想立她为皇后，又害怕宰相们否定，所以还没有正式提出。君如果在这事上提出建议，推助一把，定能转祸为福。”于是李义府就替代王德俭值夜，趁机叩门上表，要求废王皇后而立昭仪为后。皇帝很高兴，召见义府与他谈话，又赐珍珠一斗，停发要他出京任司马的诏书，留下复为侍。
武则天已立为皇后后，李义府、许敬宗、王德俭及御史大夫崔义玄、中丞袁公瑜、大理正侯善业互相吹捧，在私心干坏事上推波助澜。诛杀贬弃赤诚忠耿之臣，因此武后得以称心如意地制造夺取威势权柄，天子也只得俯首听命。
李义府看上去随和有礼，与人谈话，总是和言悦色，但心里却阴险偏狭，嫉妒记仇。凡是冒犯了他、不中他的意的人，都要设法中伤陷害，当时人称他为“笑中刀”。又因为他表面柔顺实质害人而称他为“人猫”。
永徽六年(655)，委任为中书侍郎、同中书门下三品，封广平县男，又兼太子右庶子，爵为侯。有个洛州女子淳于犯了奸淫罪，关在大理狱中。李义府听说她很美，暗嘱大理丞毕正义枉法释放，娶为己妾，正卿段宝玄将这事报告了皇帝，诏令给事中刘仁轨、侍御史张伦复审此案，李义府怕毕正义供出实情，竟逼令毕正义在狱中自缢以断绝实证。侍御史王义方在廷上检举，李义府均不承认，经三次叱责，才不得不退出。王义方一条条陈述李义府的罪恶，但皇帝因他助立武后的事心中感激他，所以宽赦不追究。
为压制王义方，将他逐出。不久，进李义府为中书令、检校御史大夫，加太子宾客，改封河间郡公，诏许建造私宅。义府的儿子们即使还在襁褓中的，都补为清官。
当初，杜正伦为黄门侍郎，李义府不过是个典仪。及至一同辅政，杜正伦自恃先进瞧不起李义府，秘密与中书侍郎李友益商议设法除去义府，事情泄露，反被李义府诬告，两人在皇帝面前争论。
皇帝将两人都贬谪出京：杜正伦任横州刺史，李义府任普州刺史，将李友益流放峰州。第二年，召回李义府任为吏部尚书、同中书门下三品。因母丧而免，另又夺丧起用为司列太常伯、同东西台三品。
改葬其先人于永康陵侧，役使县里的人及牛车运土筑坟，来干活的民工征调自七个县，高陵县令竟劳累而死。公卿们争赠奠仪。入葬日，诏令御史前往哭吊。
送车及从骑相连，奠帐帷绶等物自灞桥连三原七十里不断，柩车及草人等的规格僭越侈大，人臣送葬之盛礼没有谁能比得上。殷王出京师去所封藩，义府又兼府长史，渐升为右相。
李义府地位显赫了，自称是出身赵郡，就与各李姓人叙起辈份来，那些好巴结想借此进身的人往往尊李义府为父兄辈。给事中李崇德自称与义府是同宗。
至义府被贬普州时，又亟亟地否认与他同宗。义府记恨在心，到他再次当权时，就罗致其罪名，将李崇德投入牢狱，最后李崇德在狱中自杀。贞观年间，高士廉、韦挺、岑文本、令狐德..修《氏族志》，对每一个的升降褒贬，天下人均认可其判断，于是各州收藏副本作为永久之式。
而许敬宗提出该《氏族志》没有载入武后家族，李义府也因此志中没记入他的先世而不满，奏请重新删正。于是委任孔志约、杨仁卿、史玄道、吕才等人修订，凡是在唐任官至五品的都升为“士”，兵卒因立功而升官的也都入册，改书名为《姓氏录》，望族缙绅们都鄙弃耻笑，称改后的《姓氏录》为“勋格”。李义府奏请将以前的《氏族志》全部收回烧毁。自从魏太和年间确定望族，七姓子孙互为婚姻，后来虽说有些渐衰，但依旧相互以身份门第自豪。李义府替儿子向他们求婚而不得，于是奏请禁止所有门阀等第界限。
皇帝让李义府主管选拔人才。一则他自己无品，无以鉴别人才，二则贪欲永无厌足，因此选拔任用只问贿赂而不再考核查验，以致人人叹息不齿。再加上他母亲、妻子、儿子们收贿卖官买狱，门庭若市，沸沸扬扬。自从永徽年后，御史均为制授，吏部虽然也偶有调迁的，但到门下复核均不得通过。现在李义府自己注属御史、员外、通事舍人，有司不敢退回。皇帝曾很和缓地告诫义府说“：听说你的儿子女婿枉法多有过失，我还为你打了掩护。你该对他们略加警戒。”义府倚仗武后为靠山，认为群臣中没有人敢告发他的罪行，不想皇帝竟然有所听闻，于是勃然变了脸色问皇帝“：是谁对陛下说这些的？”皇帝说“：还用问我是从哪儿知道的吗？”李义府居然傲然不谢罪，缓步自去。皇帝由此而对义府不喜欢。
有个术士名杜元纪，望见李义府的宅第有狱气。还说：“拿出二千万积储来，可以压住狱气。”李义府相信了，却去向百姓搜刮。在他母丧期间，初一十五都给哭假，他就微服与杜元纪去郊野登高窥察灾气，众人怀疑他将有异图。李义府又派儿子李津去召来长孙延，对长孙说：“我为你谋得一个官职。”五天后，就任长孙延为司津监，索钱七十万。右金吾仓曹参军杨行颖说了他所得赃款，诏令司刑太常伯刘祥道与三司共同审讯此事，李责力监讯，审出许多罪状，诏命革职除名，流放隽州。其子率府长史李洽、千牛备身李洋及女婿少府主簿柳元贞一并流放廷州，司议郎李津流放振州，朝野均相庆贺。他的三个儿子及女婿尤其凶残肆虐，既遭流放，人们都称之为诛“四凶”。有人写了篇《河间道元帅刘祥道破铜山大贼李义府露布》，张贴在街市上。
乾封元年(666)大赦，独流放的罪人不许回来，李义府愤恨而死，年五十三岁。自从李义府被斥，天下仍有些担心他会再度起用，到他死了，内外才完全安心。
上元初年，赦免李义府的妻子回到洛阳。如意年间，追赠李义府扬州大都督，崔义玄益州大都督，王德俭、袁公瑜魏州、相州刺史，又各赐实封。睿宗立，有诏停止封赏，其幼子名李湛，事见《李多祚》传。