马文升是河南钧州（禹县）人，景泰二年进士，历官御史，福建按察使，南京大理寺卿，右副都御史，巡抚陕西，助项忠平定满俊之乱，升左副都御史，仍旧巡抚陕西，在成化十一年继王越“总制三边”；同年回京，充任兵部右侍郎。次年，“转左”（转任兵部左侍郎）。
马文升在陕西巡抚任上，颇有军功，但是他在宫廷中没有什么“奥援”，因而并未获得若何重赏。到了担任兵部侍郎，又为了辽东巡抚陈钺的事，与太监汪直发生正面冲突。陈钺是汪直的私人，毫无能力，只知道滥杀少数民族来冒功，几乎酿成巨变。马文升亲自到辽东去宣读皇帝的玺书，慰抚少数民族，才转危为安。结果，汪直反而在成化十五年诬告马文升“行事乖方，禁边人市农器，致怨叛”。宪宗耳朵软，竟然将马文升捕下“诏狱”，充军到重庆卫。陈钺于是又可以滥杀邀赏，获升为户部尚书，于十七年二月改任兵部，在十八年三月垮台，削职为民。
到了成化十九年，汪直也垮了台。马文升被放回，恢复原职。次年，出任左副都御史，巡抚辽东，极受当地汉人与少数民族的爱戴。二十一年回京，升为右都御史，总督漕运。这一年的冬天，再升为兵部尚书。
马文升一生的官运，时起时伏。起，由于确有被朝廷需要的能力。伏，由于到处遇到小人为敌。当年汪直恨他，一方面是由于他不肯同陈钺“合作”，一方面也是由于他胆敢与汪直分庭抗礼，而且“奴视其左右”。现在，汪直早已完蛋，而另一个小人李孜省，偏要说他的坏话，以致宪宗在成化二十二年又外调他为“南京兵部尚书”，虚有其名。过了一年，宪宗去世，孝宗即位，他才被“内调”，担任左都御史，做都察院的负责人。其后，从弘治二年到弘治十四年，他再任兵部尚书，为时甚久，孝宗对他言听计从。他公忠体国，不仅把兵部本身应办之事，办得很好，而且对兵部以外的事他也不避嫌怨，知无不言，言无不尽。孝宗一朝之所以治绩远胜宪宗，马文升的关系很大。因为，他在当时的大臣之中，年最高而德最劭，确是一枝柱石。
弘治十四年，孝宗叫他转任吏部。吏部，正如我在以前所说，是各部之中最重要的一部，也是整个政府之中最重要的一个机构。马文升才兼文武，在吏部尚书的任上也是卓有表现，虽则年事已高。武宗即位以后，太监王瑞容不了他，逼得他在正德元年退休。那时候，他刚好是八十岁。三年以后太监刘瑾诬告他在吏部任上“朋党”，叫武宗除他的名（所谓除名，便是削去他的官爵，他是以太子太师吏部尚书的官衔退休的，被除名以后便不许再挂如此的官衔了）。又过了两年，他才去世。刘瑾失势以后，朝廷追复他的官衔，加赠“特进，光禄大夫，太傅”，予谥“端肃”。