斛律金，字阿六敦，朔州敕勒部人。他的高祖倍侯利，道武帝拓跋王圭时归附北魏，被封为大羽针，赐爵为孟都公。祖父幡地斤，任殿中尚书。父亲斛律那王襄，任光禄大夫，去世后赠封为司空。
斛律金性格淳厚爽直，善于骑马射箭，指挥军队采用匈奴人的方法，一看尘土飞扬的情况就知道有多少人马，闻一闻地下的气味就知道敌军距离的远近。最初担任军主，他与怀朔镇将杨钧负责护送蠕蠕族首领阿那王襄。阿那王襄见斛律金打猎射箭，叹服他的武艺精深。破六韩拔陵叛逆，斛律金率众归属。破六韩拔陵封他为王。他估计破六韩拔陵最终必定失败，便率领部下背叛而去，到了云中，北魏命他为第二领人酋长。他秋天到京城朝拜，春天返回部落，被称为雁臣。他领兵南进黄瓜堆，被杜洛周打败。他与哥哥斛律平逃出，投奔..朱荣，..朱荣命他为别将，孝庄帝即位，赐给他阜城男的爵号，封为金紫光禄大夫。神武帝高欢暗中准备匡扶社稷，斛律金赞成他宏大的计谋，孝武帝太昌初年，朝廷命斛律金为汾州刺史，晋封爵位为侯。他跟随高欢在黄河以西打败纥豆陵。
沙苑之役，高欢因地形不利稍有退却，齐军被西魏的军队乘势进攻，阵脚溃乱。张华原拿着簿册逐营查点士兵，没有人应声回答的。高欢想聚集部队重新开战，斛律金劝阻说：“士兵与将领分散，这种情形已不能再用来打仗，应赶快撤回河东。”高欢坐在马鞍上没有行动，他用鞭子抽打高欢的坐骑，才撤退。于是军队崩溃，损失带甲士兵八万人，由侯景负责收拾。西魏的一位力大无比的武士把守河上的桥梁，身上穿着很厚的衣甲，箭射不进去，贺拔仁等他转过脸来，一箭将他射死，东魏军队才得以过桥逃脱。这一仗如果没有斛律金请求撤退，几乎到了绝境。高仲密叛投西魏，宇文泰率兵进攻洛阳，斛律金跟随高欢一一将他们打败。归来，被任命为大司马，改封爵号为石城郡公。
他性格质直坦率，不认识字。原来的名字叫敦，因为署名时难写，所以又改名为金，是为了简便易写，但仍感到很为难。司马子如教他学写金字，画了房子的样子作比喻，他才把这个字学会。高欢很看重他的古朴质直，常告诫儿子高澄说“：你任用了许多汉人，有人进谗某个人的，你不要相信他们。”
文襄帝高澄接替父亲高欢掌管朝政，命斛律金为肆州刺史。文宣帝高洋接受东魏孝静帝的禅让，又封他为咸阳郡王。天保三年(552)，又封为太师。四年，解除肆州刺史的职务，以太师的身份回到晋阳。文宣帝亲自到他家里看望，六宫的嫔妃以及各位王侯都跟从同来，摆设酒宴通宵畅饮才结束。文宣帝十分高兴，下诏命斛律金的二儿子斛律丰乐为武卫大将军，赐给绢帛五千匹。文宣帝对斛律金说“：你帮助朝廷建立丰功伟业，父子二人对国家都很忠诚，我当和你结成儿女婚姻，让你家永远成为朝廷的藩卫。”便命斛律金的孙子斛律武都娶义宁公主。举行结婚大礼那一天，文宣帝跟着皇太后到斛律金的府第，皇后、太子、各王都一起到来。他被天子的厚待就像这次一样。后来，蠕蠕族被突厥攻破，因担心突厥军队会侵犯北齐的要塞，朝廷命斛律金屯兵在白道以作防备。齐军俘虏了很多突厥人，他上表陈述敌人可以攻取的情况，文宣帝便亲自出战，与斛律金一起挥兵讨伐。朝廷又升任他为右丞相，把齐州作为食邑。他又迁任左丞相。文宣帝晚年丧失道德，昏聩骄狂，曾骑着马持长矛多次要刺斛律金的胸膛，他面对锋芒站立不动，于是，文宣帝赐给他布帛物品一千段。
孝昭帝登皇帝位，纳斛律金的孙女为皇太子妃。命他朝见天子，可以乘轿到皇宫的台阶前。武成帝即位，对他的礼遇更重，又将他的孙女纳为太子的王妃。他曾派人给武成帝进献食品，中书舍人李若误奏，说斛律金亲自到来。武成帝到昭阳殿，命侍中高文遥将斛律金坐的羊车领来。李若知道自己奏报有误，越发不敢在宫殿的廊下出现。高文遥奏报了真实情况，武成帝骂李若说：“这个头脑简单的汉人，真该杀！”但却不加罪。
他的长子斛律光为大将军，次子斛律羡以及孙子斛律武都，都为开府仪同三司，出镇一方土地和山川；其余的子孙都封为侯爵，官位显赫。他家一门有一位皇后，两位太子妃，三位公主，受朝廷的信任宠爱，当时无人可比。他曾对长子斛律光说：“我虽然不读书，听说古时候的外戚梁冀等人，无不身死家灭。女的如被天子宠幸，其他嫔妃就会嫉妒；女的如不被宠幸，天子就会嫌弃她。我家应该以建立功勋，胸怀忠心获取富贵，怎么能凭借女儿们呢？”他想辞去各种职务，不被朝廷允许，因此，常常忧虑。天统三年(567)去世，享年八十岁，朝廷赠封为假黄钺、相国、太尉公；赠给他家钱一百万；谥号为武。