张升字伯高，祖先定州人，后来迁徙到平州。升幼年时机警聪敏超过一般人。长大努力学习，擅长文辞。至元二十九年(1292)授将仕郎、翰林国史院编修官，参预修纂《世祖实录》，升应奉翰林文字，不久升修撰、太常博士。成宗驾崩，大臣议论徽号，合祭宗庙，升说：“从前规定凡在宗庙有祭祀，一定要写嗣皇帝的名字，现在写什么？”议论才终止。
武宗即位，亲自祭祀礼节时，升据经引古，参酌时宜回答，受到帝的称赞，并采纳了他的意见。至大初，改太常寺为太常礼仪院，升为判官。以后，调任汝宁知府。有一百姓告发，有一捆书信寄放在他家中，时隔三年取出一看，内有禁书一编，记有他本乡大家姓名，升要属吏快把这书烧毁，并说：“胡话诬陷民众，暂且免罪不说。”同级的官吏很害怕，朝廷知道后，认为升放走了违法作乱的人，派人了解情况，却始终查不出什么来，于是斥责他擅自焚书，升说：“这事情好像是违法作乱，但我为郡守，是父母官，现在斥责诬告，免去冤狱，即使判我重罪也不躲避。”于是夺他两个月的俸禄。后来任江西行省左右司郎中，升绍兴路总管。
在大德、至大年间，江浙遭重灾，流行瘟疫，百姓死亡几乎过半，赋税盐税责令里胥代纳。升将此地情形如实报告行省，予以豁免。后历任湖北道廉访使、江南行台治书侍御史。召为参议中书省事，又改枢密院判官，不久又恢复中书参议。
至治二年(1322)出任河东道廉访使，还未启程，又任命治书侍御史。第二年，任淮西道廉访使。泰定二年(1325)任陕西行省参知政事，加中奉大夫，不久升辽东道廉访使。永平大水，民众多困厄，升请求发海道粮十八万石、钞五万缗，赈救灾民，减免这年的赋税，得到朝廷同意，很多民众得以活命。第二年，任侍御史。
天历初，出任山东道廉访使，当时有警报，当地官府请求加固城池来防备，升说“：百姓依靠我们而生，加固城池，兴师动众，这是抛弃百姓。”过了一年，任太禧院副使，并兼奉赞神殿的事务，授职河南省左丞，又升淮西道廉访使。这时升已年六十九，上书辞官退隐。至顺二年(1331)又起用为集贤侍讲学士，受到文宗关怀。
元统元年(1333)顺帝即位，召集五六十岁老臣，询问治国之道，升条陈应该先做的十件事。不久兼经筵官，考试进士，命升读卷，事后，升请求探望祖先的坟墓。帝赐金织花纹袍子，使他荣耀还乡。第二年，以奎章阁大学士、资善大夫、知经筵事召回，赐好酒一尊，催促就职，升以病辞职，帝看不可勉强，才同意。不久命本郡每月给原俸禄的一半。至正元年(1341)卒，享年八十一岁。赠资德大夫、河南等处行中书省左丞，谥号文宪。