卢伯源，小名阳乌，性情温和儒雅，不重私利，颇有他祖父的风范，他专注于学业，和家中人相处和睦。承袭了侯爵之位，按常规降为伯爵。后来逐渐加官为秘书监，本州大中正。当时孝文帝想要立冯皇后，先征求卢伯源的意见。卢伯源请皇帝命人再占卜一下。皇帝道：“因为她是先后的侄女，朕主意已定。”卢伯源道“：虽然这是皇帝的吩咐，但臣仍保留意见。”等到后来朝臣集体商议，卢伯源仍持原来的意见，冯诞当时很得宠，对他怀恨在心。卢伯源并没放在心上。后来孝文帝商议伐齐之事，卢伯源上表认为皇帝御驾亲征，运输很难跟上。皇帝虽然下诏否定了他的奏表，但措辞婉转客气。不久因齐武帝驾崩，所以没有出兵。
当时泾州的羌人叛乱，攻破城池。卢伯源带领步、骑兵六千人号称三万，从容进兵，不到三旬，贼兵逃的逃，散的散。投降的有数万人，卢伯源只诛杀了首恶，其余的都不再追究。皇帝下诏任命他兼任侍中。当初卢伯源十四岁时，曾经去过长安。临走时，五十多人为他饯行，在渭河北岸话别，有个相士扶风人王逵道：“诸位都不如这位卢郎，虽然以后官位和他真实才干不相称，但能获得很高的声望，名望将超过三公及宰相等重臣。二十多年后，你将奉皇帝之命节制关西，希望您不要忘记我。”这次出兵，相士已经年过八十，到军门求见，叙述一生之事。不久，任仪曹尚书。
后来齐的雍州刺史曹武请求归降，皇上任命卢伯源为使持节、安南将军，统率前锋各路军马，径直开赴樊、邓两地。卢伯源推辞说书生不能负责统兵作战，皇帝不允许。卢伯源道“：臣怕曹武是效仿周鲂假降。陛下应当审慎行事。”曹武果然是诈降。卢伯源于是进攻赭阳，被打败，因而被罢免官爵。不久他母亲去世，服丧期满后，任命为兼太尉长史。
后来他出任徐州京兆王愉的兼长史，愉当时还很年轻。事情不分大小都由卢伯源决定处理。卢伯源待人接物诚实守信，深得东南百姓的人心。南徐州刺史沈陵密谋策划反叛，卢伯源多次上表启奏朝廷，朝廷未予理睬，沈陵果然叛乱后潜逃。沈陵的余党，卢伯源都予以安抚并赦免他们，只归罪于沈陵，由于这样众心才安定下来。
景明初年，卢伯源去世，死时官至秘书监，享年四十八岁，追赠幽州刺史，恢复原来的爵位固安伯。谥号“懿”。