马祖常字伯庸，先祖世代为雍古部，居住在净州天山。高祖锡里吉思，在金代为凤翔兵马判官，尽忠金朝，死后赠恒州刺史。子孙世袭为官，以马为姓氏。曾祖月合乃，随世祖征宋，留于汴京，掌管粮饷，官至礼部尚书。父马润，为同知漳州路总管府事，家在光州。
祖常七岁时就好学，得钱就买书，长大后学习更加勤奋。一四川儒生张须立在仪真讲学，祖常去拜为师，学习中提出疑问数十条，须立非常器重。延..初年(1314)，元朝实行科举制度，祖常应试，无论乡试、会试皆中第一名，廷试第二名，授应奉翰林文字，拜监察御史。
仁宗在位日久，常在东宫饮酒过度，祖常敢于上书劝谏皇上临朝理政。英宗为皇太子，祖常又上书请皇上慎重延聘师傅。奸臣铁木迭儿为丞相，作威作福，专横跋扈，祖常知道他偷看国史，与同僚弹劾其十大罪状，仁宗大怒，将铁木迭儿罢职。传闻秦山移动，祖常藉此上书说：“山本不动之物，如今移动，必定是在朝外有当用不用之贤人，在朝为官者有当言不言之佞臣。”皇帝看后令大臣们都居家等候审查治罪。祖常荐举贤能，弹劾那些不贤无能者，知无不言。不久，改任宣政院经历，仅月余就辞官返乡，后又起用为社稷署令。又不久，奸臣复相位，贬祖常为开平县尹，后退居故里光州，直到奸臣死后，才被召还任翰林待制。泰定年间(1324～1327)确立皇太子，升祖常为典宝少监、太子左赞善。不久又兼翰林直学士，任礼部尚书。其祖母寿终，祖常辞官归家服丧。后起任右赞善，仍为礼部尚书。不久辞官回乡。
天历元年(1328)，朝廷召祖常任燕王内尉，但仍入礼部任职，两次主持贡举考试，一次为读卷官，当时人们都认为他称职。升参议中书省事，参加制定亲郊礼仪充读册祝官，拜治书侍御史，后历任徽政副使、江南行台中丞。
元统元年(1333)，召回朝参议新政，赐白金二百两、钞万贯。以后又历任同知徽政院事、御史中丞。帝念他有病，特诏令他免于朝拜礼。祖常在执法时，务必坚持原则。委任为枢密副使，不久就辞职归光州。以后任他为江南行台中丞，又调任陕西行台中丞，都因病未赴任。至元四年(1338)卒，年六十，赠摅忠宣宪协正功臣、河南行省右丞、上护军、魏郡公，谥“文贞”。
祖常在朝任官时间长久，多有建树。曾说：今蒙古族及诸部既学圣贤之书，当知尊敬父母以崇尚人伦。又说：将家子弟骄傲，有负国家重任，而庶民有能挽强弓者却老死于民间，应建立武学，实行武举考试，储备人才以备非常之用。这些意见虽未被当局者采纳，但有见识的人无不赞同。祖常的文章写得好，气势磅礴，言简意赅，无陈辞滥调，专以先秦两汉文章为榜样而又自成一家之言。尤善于写诗。其诗文无论大篇短章无有不可传读者。有文集行于世，曾参加修纂《英宗实录》，译有《皇图大训》、《承华事略》，编集有《列后金鉴》、《千秋记略》等书，进呈皇帝，受优厚赏赐。文宗在龙虎台时，祖常应诏写赋做诗，被皇帝赞赏不已，认为中原大儒只有马祖常一人。