李怀远，邢州柏仁人。幼年就成了孤儿，虽贫穷，但好学不倦，善做文。有同族人想要他附于有地位的人家，以求发展，李怀远竟拒绝，随后叹道“：凭靠他人势力，高士不为；借庇护求官，怎么能是我的志向呢？”没过多久，他应四科考试中举，任司礼少卿，后外调任邢州刺史，因为是他的家乡，所以坚决辞谢不就，又改授冀州刺史。不久，又曾先后任扬州、益州大都督府长史，后又任同州刺史。李怀远在任期间以清廉简朴受到世人称扬。后入宫任太子左庶子，兼太子宾客，后迁任右散骑常侍、春官侍郎。大足年间(701)，升任鸾台侍郎，代理宰相职务。一年多，加银青光禄大夫之荣誉职，拜任秋官尚书、兼检校太子左庶子，赐爵平乡县男。长安四年(704)，年老辞职，免去秋官尚书，任太子左庶子，不久又授太子宾客职务。神龙初年(705)，他任左散骑常侍、兵部尚书、代宰相，加金紫光禄大夫，晋封赵郡公，赐实封三百户。不久，因病请求告老回乡，中宗将到京师，又令他以原来的官职任东都留守。
李怀远虽然久居高位，但仍然崇尚简朴率直，他的园林住宅，没有改建。他常常骑着一匹行走缓慢的马，左仆射豆卢钦望对他说：“公荣贵如此，何不买骏马乘坐？”他答道：“这匹马稳，可以免去惊蹶，不想另外再买。”闻者没有谁不感叹赞美他的朴素的。神龙二年八月(706)，李怀远去世。中宗特别赐给他锦被来充当安葬用，并且停一日上朝，还亲自写吊文来祭奠，赠侍中，谥号为成。
李怀远有子李景伯，在景龙中任给事中，又迁任谏议大夫。中宗曾宴请侍臣和朝集使，酒正浓时，令每个人做《回波辞》。大家多写的阿谀逢迎之辞，和自己要求得好职位。轮到李景伯，他道：“回波尔时酒卮，微臣职在箴规，侍宴既三爵，喧窃恐非议。”中宗很不高兴，中书令萧至忠称赞他说：“这才是真正的谏官。”景云中，迁任右散骑常侍，不久以年老多病退休。开元年中，去世。有子李彭年。
李彭年有吏才，工于剖析事理，为世人称赞。开元年中曾任考功员外郎，知举，后又迁任中书舍人、给事中、兵部侍郎。天宝初年(742)，又任吏部侍郎，他与右相李林甫相好。李彭年慕与山东名门大姓结亲，提高名望。主管铨选举官事务七年，后因贪污被御史中丞宋浑弹劾长期流放岭南临贺郡。过了几个月，宋浑和他的弟弟宋恕也因贪污下狱，后宋浑流放岭南高要郡，宋恕流放南康郡，天宝十二年(753)，起用李彭年任济阳太守，又迁任冯翊太守，后入朝任中书舍人、给事中、吏部侍郎。十五年，玄宗到四川，西京被攻陷，李彭年被俘，胁迫授了伪官职，他忧愤忽忽不得志，与韦斌差不多的时间先后去世。到收复两京，追赠李彭年为礼部尚书。