何荣祖字继先，祖籍太原。父何瑛，在金朝为官，授明威将军。金亡后迁家于广平。
荣祖体貌魁伟，额上有红色纹，如两棵树，背突出，看相的说他将来会做大官，而且长寿。何家世代为吏，荣祖也熟悉官府之事。他由中书省的一个属吏而升为御史台都事。这时阿合马当政，在其家中设立总库，收纳四方之物，而称之为“和市”。监察御史范方等对此进行了弹劾。阿合马知道这是何荣祖出的主意，奏请调荣祖为左右司都司，把他置于自己的管辖之下。不久，御史台任荣祖为治书侍御史，升为侍御史。又调任山东按察使，阿合马的阴谋未能得逞。
帖木剌思贪赃枉法，为佥事李唐卿弹劾。帖木剌思想不出对付的办法。恰巧这时济南有人告发谋反事，唐卿察觉此是诬告，把起诉人的状子烧了。帖木剌思借此事指控唐卿放纵了谋反者，于是逮捕了数十人。但此案长期不能判决。朝廷命荣祖与左丞郝祯、参政耿仁杰去审理。他们了解事情的真象后，荣祖主张判诬告之罪，祯与仁杰认为对诬告者只判失口乱言之罪，荣祖不同意。不久，荣祖调任河南按察使，祯与仁杰终以失口乱言之罪，对诬者处以杖刑，释放被株连的人，唐卿所蒙之冤得以昭雪。
平凉府报告说，有南人二十余人逃往江南，安西行省欲将此事上报朝廷，刚好荣祖来任行省参政，阻止他们上报，他认为“：何必上报朝廷，这些逃去的人都是奴隶，今闻江南已平，回去找自己家而已，可发文逮捕回来就是了。”后查明这些人果是奴隶，把他们交还给主人。荣祖被任命为云南行省参知政事，因母亲年迈，辞不赴任。又拜御史中丞，出京任山东东西道按察使。后召入朝为尚书参知政事。
桑哥专政，迫切地搜刮钱粮，人人受害。荣祖多次奏请停止，世祖不听从，畿内之民受害尤甚，荣祖又多次向皇帝报告畿内人民困苦，请求免去赋税。同僚劝他再不要去劝谏了，荣祖执意不肯，不怕违背圣上旨意，不签署有关公文。不过一月，桑哥的害民之弊为大家所共知。世祖这才想起荣祖过去所说的那些话，召他来问解救的办法。荣祖建议设立专门机构在年终时对征收钱粮情形进行考核。大家都认为这办法很好，以后长期实行。朝廷赐他钞一万贯以资奖励。荣祖陈奏朝廷内外官员规则，以纠正弊病。但为桑哥所压制，不能实行。荣祖与桑哥既意见不合，便借病告假，朝廷特授荣祖为集贤大学士。不久，起任尚书右丞。
桑哥倒台后，改荣祖为中书省右丞。祖荣奏请施行《至元新格》，改提刑按察司为肃政廉访司。他上书说“：国家财用不可不足，而天下百姓也不可不安。今管理财政的人，不顾人民之困苦，谈政治者不规划国家的大政方针。而且应当任用的人总是多，而得到任用的人却总是少。总之，中书省及各部为国家基础所在，必须选拔有才干者任用。按察司虽监督一道之政务，而其职责在于清除弊端，安抚该道百姓，如果还有未做到的事，行省和行台则应派官去考核，尽量做到于政有益。”世祖深以为然。荣祖多次因年老病而请求解除他的职务，朝廷诏令他不必负责具体事务，只是参预中书省商定政务，领取俸禄。不久，拜荣祖为昭文馆大学士，参预中书省事，又加平章政事。发生水旱灾害，他以此为由，请求罢职，朝廷未准。
荣祖曾奉旨定《大德律令》，此书早已完成，现在奏请诏命元老大臣审订。还未来得及颁行，因其子秘书少监何惠去世，他辞职回到广平，年七十九岁卒。赠光禄大夫、大司徒、柱国，追封赵国公，谥“文宪”。
荣祖身为大官，却租房居住，茶具是普通青瓷。皇后闻知，赐上等饮具及金五十两、银五百两、钞二万五千贯，让他买宅添置用具，以表彰他的廉洁。其著述有《大畜》十集，还有《学易记》、《载道集》、《观物外篇》等书。