平秦王高归彦，字仁英，神武帝高欢的族弟。父亲高徽，北魏末年犯罪，应当流放到凉州，行至黄河、渭水之间遇上贼寇，由于立功得以免除流放。因为在河州多年，能听懂胡人说话，被朝廷任命为西域大使，得到胡地的一头狮子。建立功勋代行河州牧守，死在任上。高徽对于高欢恩情十分深厚。高欢平定洛阳后，将他的尸骨迁至洛阳安葬。追赠他为司徒，谥号文宣。
早先，高徽曾路过长安市，与妇人王氏私通，生下了高归彦。他已有九岁时，高欢见了又悲又喜。不久，命他为徐州刺史。归彦少年时真诚朴实，长大后性格发生变化，放纵自为，喜好犬马声色，朝夕饮酒酣歌。他的妻子是北魏上党王元天穆的女儿，容貌不美而性情娇惯好妒，两个人多次争执，归彦密奏文宣帝请求离异，事情被压了下来。天保元年(550)，朝廷封归彦为平秦王，他的长母康氏和生母王氏一起被封为太妃，他善于侍奉两位母亲，以孝顺闻名。被征用兼任侍郎，逐渐被朝廷亲近宠幸。因讨伐侯景建立军功，另外被封为长乐郡公，任领军大将军。将军的前面加一个大字，就从他这里开始。文宣帝诛杀高德正，将德正家的金银财宝全部赐给了归彦。乾明初年，封他为司徒，仍然总领禁卫。
济南王从晋阳到邺城，杨忄音宣布朝廷命令：留下保护天子的卫兵五千人驻扎在西中，暗中防备非常之变。到了邺城数日，归彦才知道这道赦命，因此，暗中怨恨杨、燕等人。杨、燕等想除去二王，问高归彦应该怎么办，归彦假装很高兴，请他们与高元海一起商量。元海也口中答应，内心不愿，派人迅速报告给长广王高湛，长广王因此诛杀了杨、燕等人。孝昭帝将要到云龙门，都督成休宁列队拒绝，不放他进城，归彦谕告休宁，然后才放孝昭帝入城。进向柏阁、永巷也是这个样子。孝昭帝登基，因此对归彦更加优礼厚待，他每次入宫，位置都排在平原王高段韶前面。朝廷封他为司空，兼尚书令。北齐的制度，宫内只允许天子戴纱帽，做臣的都戴戎帽，孝昭帝特赐归彦戴纱帽以示对他的宠信。孝昭帝驾崩，归彦从晋阳迎接武成帝至邺都。武成帝即位，晋封他为太傅，统领司徒，常允许他带领私人卫士三人，带着刀进入宫中。自从武成帝回到邺都，所有的贵戚都竞相与归彦交结，所到达的地方，举座都被他倾倒。
归彦位居将相，志得意满，出言傲慢无理，旁若无人。人们议论认为他的权威震慑天子，必定会造成国家的祸乱。武成帝也发现他过去反复无常的事情，对他渐渐疏远。高元海、毕义云、高乾和等人都多次揭发他的短处。武成帝到归彦家，召见魏收当面起草诏书，想加封他为丞相。魏收说“：陛下您以右丞相的身份即皇帝位，今天因为归彦的威名太盛，所以才将这个职位让出，怎么能再加封这个职衔呢？”武成帝便授予归彦太宰、冀州刺史的职务，当即让高乾和起草加封的诏命。天亮，便命门司不允许旁人入内。当时，归彦正在家纵酒豪饮，一个晚上竟然不知道武成帝早已到家里来，天明想上朝参拜，到门口才知道，大惊失色，连忙退回。等到他通名谢罪，武成帝的诏命早已发出，另外赐给他钱币、布帛、仪仗、医药，样样都很周详完备。又命武职官员，全部到清阳宫。归彦拜谢后退出，不敢与武成帝说话，只同赵郡王高睿说了很长时间的话，当时却没有人听见。
归彦回到州中，心里很不安分，便阴谋叛变，想等到被朝廷调动完毕，再赏赐将士。他看到武成帝到了晋阳，便率兵乘虚进入邺都。被他的部下郎中令吕思礼告发，武成帝命平原王段韶进攻他。归彦过去在南境私自设置驿站，听到将要进攻的消息，报告给了他。他便派兵坚守城池。早先，冀州长史宇文仲鸾、司马李祖挹、别驾陈季遽、中从事房子弼、长乐郡守尉普兴等怀疑归彦有异常的举动，便联名密报朝廷，归彦听说后，派人将他们的密报追获，并将他们五个人拘押起来。这五个人不跟他一起叛乱，便将他们杀死。平原王率领的军队已逼近邺城，他登城大声喊叫：“孝昭皇帝刚刚崩殂时，六军的百万之众都归我指挥，我却到邺城奉迎武成帝即位，当时不反，今天难道会有二心？我是因为恨高元海、毕义云、高乾和欺蒙圣上，妒恨忠臣良将，我只为了杀这三个人，目的实现后就临城自尽。”
后来邺城被攻破，他单人独骑向北逃走。到了交津被抓获，被戴上枷锁送到邺城。武成帝命赵郡王高睿又私下里问他谋反的原因，他说：“让那些下巴上没毛的小儿牵制着我，我为何不反？”赵郡王问：“指的是谁呀？”他答道：“高元海、高乾和，难道是朝廷中的老臣？像赵家老公，我怎么会心怀怨恨？”于是，武成帝又派人指责他，他对答说：“高元海接受毕义云的房宅，毕义云被任命为本州刺史，给后部鼓吹的仪仗；我身为藩王、太宰，仍得不到鼓吹的仪仗。所以要杀高元海、毕义云才能解恨。”武成帝命刘桃枝将他押入宫中，归彦仍然说前面的那些话，并乞求活命。武成帝命朝臣议定他的罪恶，大家都说不可赦免。便用露车载上他，让他口中衔枚，蒙住脸，刘桃枝用刀将他杀死，并随之击鼓。他的十五名子孙也一起被斩首弃市。
北魏时山崩，得到两件石制的兵器，保存在武器库中。文宣帝进入库中，赏赐给从臣们兵器，特把这两件兵器送给归彦，对他说：“你侍奉常山王高演不能反叛，侍奉长广王高湛可以谋反。反的时候，可用这两件武器威吓人。”归彦的额骨长有三道，戴头巾很不舒服，文宣帝见了大怒，用马鞭抽他的额头，血流满面，说：“你造反的时候，想用这块额骨吓唬人吗？”文宣帝说他会造反，竟应验了。