斛斯征，字士亮，斛斯椿的第三子。他博览群书，尤精通于《三礼》，也通达音律。有孝心，为父亲斛斯椿守丧，早晚只吃一镒米。小时因父亲建立的功勋，被朝廷赐爵为城阳郡公。大统末年，离家做官，任通直散骑常侍，不久迁任太常少卿。
自从魏孝武帝西迁长安，皇家需要的各种音乐都因废弃而缺失。斛斯征收集散逸，翻阅各种典章册籍，改造旧乐，创立新章，雅乐才得以完备。另外，音乐中有钅享于这种乐器，近代已经失传。有人从蜀地得到它，都不认识。他看见后说：“这是钅享于呀。”众人不相信，他便依照干宝著的《〈周礼〉注》，用钅享于的配件芒筒捋拔，声音极其清脆，大家才叹服。他便用它来伴奏乐曲。
六宫建成，朝廷封他为司乐下大夫，又迁任司乐中大夫，晋官位为骠骑大将军、开府仪同三司，转任内史下大夫。天和三年(568)，周武帝认为他的经书学有渊源，命他教授几位皇子。周宣帝宇文..当时为鲁公，与其他皇子等都穿着读书人的衣服，向斛斯征行束..大礼，请求学问。皇子们都称他为夫子，儒生们都羡慕他。天和六年(571)，授他为司宗中大夫，任内史，仍掌管乐部，晋封为岐国公，不久转为小宗伯。
宣帝即位，升任他为上大将军、大宗伯。这时，武帝刚去世，停柩待殡。宣帝想赶快埋葬，命朝臣们商议，斛斯征与内史宇文孝伯等人坚持请求按《礼经》的规定，停柩七个月，宣帝不同意。
宣帝当太子时，宫尹郑译因不能正确引导和教育太子，坐罪被免去官职。而宣帝却很喜欢和亲近郑译。他即位后，便封郑译为内史中大夫，十分信任他。郑译便献上新谱写的音乐，十二月各用一件笙，每件笙用十六支簧管。宣帝命郑译与斛斯征商讨新乐，斛斯征驳斥了郑译，陈奏说：“音乐的产生，发自人的内心。上天受人感应，正如回音和影子。做善事的，上天赐给他福气；干坏事的，上天降给他灾难。所以，舜弹奏五弦琴，唱着《南风》这首诗，而天下向化。纣王唱朝歌和北方的俚歌，国家破灭。由此可知音乐的作用，在于调和人的性情，改变风俗习惯，感动天地鬼神，是祸福的基础，盛衰的依赖，怎么能够不慎重呢？郑译谱写的新乐，不师法往古。如果每月用一种笙，那么钟鼓各种乐器，也都需要十二套。演奏雅乐的乐器已经摆满庙堂，现在如果再增加，陈列在哪里呢？还需要再开辟台阶，增修廊宇，这不是非常紧急的事情，怎么可以去役使百姓呢？”宣帝十分同意他的意见，命停止演奏郑译所献的新乐。
周武帝安葬后，宣帝想创作音乐，又令朝臣们议论是否可以进行？斛斯征说“：《孝经》上说‘：父母丧，听到音乐也不高兴。’听到尚且不高兴，更何况创作新乐呢？”郑译说“：既然说是听到音乐而不高兴，明明是说不如没有音乐。只可以不娱乐，怎么能不奏乐？”宣帝同意郑译的意见，郑译因此恼恨斛斯征。
宣帝后来肆意妄为，没有节制。昏聩暴虐，日甚一日。斛斯征因蒙受周武帝的厚恩，又曾经任过宣帝的师傅，便上疏极力劝谏，指出宣帝的过失，不被采纳。郑译借机攻击他，宣帝便把他关进监狱。他害怕被处死，狱卒张元平同情他，用佩刀挖开墙壁，送他出去。张元平被拷打一百多下，没有说一句话。斛斯征逃出后，藏匿在别人家里，后来遇到大赦，得以免除处罚，但仍然被削去官职。
隋文帝登基，照例恢复他的官爵，授予他太子太傅，仍命他修撰乐书。开皇四年(584)去世，享年五十六岁。早先，隋文帝任北周的大司马，有一个外戚办丧事，斛斯征准备与他一起到外戚家吊唁。斛斯征等他很久，他也不出来。斛斯征很恼火，便不再等待。隋文帝出来等候时，斛斯征已经离去。隋文帝因此对他很不满意，这时，隋文帝下诏命有司给他谥号为暗。