刘彦宗字鲁开，大兴宛平人。其远祖怦，为唐朝卢龙节度使。石晋把幽、蓟划入辽国，刘氏六代做辽国的官，相继任宰相。刘彦宗父亲刘霄官至中京留守。刘彦宗擢进士乙科。辽天祚帝逃到天德。秦晋国王耶律捏里在燕自立为帝，提升刘彦宗做留守判官。萧妃掌握朝政时，升为签书枢密院事。金太祖到居庸关，萧妃从古北口逃走，都监高六送名帖给金太祖。金太祖忽然驾到辽境，车驾驻城南面，刘彦宗与左企弓等奉上奏章投降。金太祖一见，很器重他，使他依然如故，并升为左仆射，佩带金牌。
张觉任南京留守，金太祖听说张觉有不忠的心理，即派刘彦宗、完颜斜钵宣诏抚慰他。金太祖到鸳鸯泺后，闷闷不乐，于是返回上京，留完颜宗翰都统军事，让刘彦宗辅助他。到张觉被金军打败逃到宋朝时，城中士兵推举张敦固做都统，并杀了金国的使者，凭城拒守，没有被攻下。此时刘彦宗任同中书门下平章事、知枢密院事，加为侍中，辅助完颜宗望统率军队。不久完颜宗望向皇帝上奏，南京周围已被攻取，大凡州县的事情都委托刘彦宗裁决。
天会二年(1124)，金太宗皇帝召见刘彦宗说“：中京等两路军以前多抗命不从，所以派遣使臣去安抚他们，赦免其官吏百姓的罪，愿意改过的人也既往不咎。你们选择官员和使者前去办理此事，使当地军民勤于农业生产。”不久，金朝大举攻打宋朝，刘彦宗写下十种进攻策略，皇帝看后即下诏刘彦宗兼任汉军都统。蔡靖在燕山投降金军。皇帝诏令刘彦宗说，凡是燕京一品以下的官吏都可以继承以前的财产，于是进兵攻打宋朝。金兵攻到汴京，宋少帝钦宗割地并交纳人质，于是金朝军队撤回。尔后完颜宗望把将士分散在安肃、雄、霸、广信的境内驻守，并把完颜..母、刘彦宗留在燕京节制各路大军。第二年，金朝再次进攻宋朝，金军已经把汴京团团包围，此时刘彦宗对完颜宗翰、完颜宗望说：“萧何入关，秋毫无犯，只收集地图和户籍册。辽太宗入汴，把路车、法服、石经载了回去，这是县令的做法。”二位主帅很高兴地接纳了刘彦宗的建议，挟持宋朝二帝回到金朝。
天会六年(1128)，刘彦宗死去，终年五十三岁，追封郓王。正隆二年(1157)，依旧例降封为开府仪同三司。大定十五年(1175)，追封兖国公，谥号英敏。刘彦宗儿子叫刘萼、刘薚。