余子俊，字士英，青神人。父亲余祥曾任户部郎中。景泰二年余子俊考中进士，授予户部主事官职，升为员外郎。在户部十年，以清廉有才干而著称。后调离户部任西安知府，遇到灾年，他打开粮仓取出十万石粮食救济贫民，偿还时区别对待，做到官府不受损而百姓得到救济。
成化初年，主管部门上报政绩突出应当受到表彰的官员，知府有十人，而余子俊位居第一。由于林聪推荐，他被任为陕西右参政，一年多后提升为右布政使。六年(1470)，转为左布政使，调任浙江，刚刚半年，授他右副都御史官职，巡抚延绥。
在这以前，巡抚王锐从长远考虑请求沿边境筑墙建堡，工程还未动工就被否决了。余子俊上疏说“：三边只有延庆平坦开阔，利于驱马急驰。寇屡次入侵，俘获边民做向导，一直进入河套驻扎放牧。从此寇竟居于塞内，我们反而屯于塞外，在沿边筑墙建堡是当务之急。况且现在旧界石还在，高山多悬崖陡壁，依照山形，随着地势，有的铲削，有的垒筑，有的挖壕沟，延绵相接，形成边墙，这对于边墙工程来说较为方便。”尚书白圭以陕西百姓正贫困，奏请缓兴工程。不久寇进入孤山堡，又入侵榆林，余子俊先后与朱永、许宁一起击败寇贼。
这时，寇占据河套，连年派遣大军征讨，没有什么实际效果。成化八年(1472)秋，余子俊说：“现在征讨河套的兵马驻扎在延绥的有八万，牲口饲料靠内地，如果今年冬天敌寇不向北退却，又需要准备下一年的军需供应。姑且用今年的数额约略估计，米豆需银九十四万两，草料需银六十万两。每人运米豆六斗、草四束，应该动用四百零七万人，大约花费用八百二十五万两。公私冗杂繁乱到这种地步，怎能不改变谋划！臣先要求筑墙建堡，诏书说要等事情安定后再进行，请求于明年春夏敌寇人马疲乏时，役使陕西运粮百姓五万，供给食物，兴建工程，要求两个月完工。”白圭仍然坚持他的意见，阻挠兴建工程，皇帝认为余子俊说的对，下令迅速进行此项工程。
余子俊先因军功升为左副都御史，第二年，又因捣毁红盐池巢穴有功，升为右都御史。由于巢穴被捣毁，贼寇因此远徙，不敢再在河套居住。内地忧患渐渐平息，余子俊就全力兴建工程。东起清水营，西抵花马池，连绵一千七百七十里，凿崖筑墙，又在其下挖濠沟，一直连绵不绝。每隔二三里建置..望台、崖栅以便巡视警戒。又在崖栅空处筑矮墙，横一斜二如箕状，用来..望和避箭。总共建筑城堡十一个、边墩十五个、小墩七十八个、崖栅八百一十九个，动用士兵四万人，不到三个月就完工了。墙内的土地全部分给军队屯垦，一年收获粮食六万石有余。成化十年(1474)闰六月，余子俊向朝廷一一禀报工程之事，因为母亲年老恳求回乡，朝廷安慰挽留他，没有批准他返乡的请求。
当初，绥德州是延绥镇的地方官署所在地，所辖米脂县、吴堡县都在镇外，敌寇用轻骑进来劫掠，等镇兵发觉而去追击，总是追赶不上，敌寇往往得利而去。自余子俊将镇迁徙到榆林，增加守卫，扩大城墙安署军队，攻守器械都俱备逐渐成为重镇，敌寇来掠夺次数渐渐少了，军民得以平安耕种放牧。
成化十二年(1476)十二月，余子俊调抚陕西，在他任西安知府时，曾因了解到居民为水质含碱发苦不能饮用而发愁的情况，他凿渠引入城西贑河的河水，解决人民的饮水问题。时间长了渠水往外漫而无法排泄，此时，他主持在城西北开凿渠道排水，水渠流经汉代旧城到达渭水。对国家和百姓更加有利，号称余公渠。又在泾阳凿山引水，灌溉农田千余顷。打通到南山的道路，直达汉中，方便来往的旅客。对于毁塌破旧的学校、公署全部补修一新。上奏章免除岷州、河州、洮州三卫的戍守，南方的兵卒一万多人。更换了南北轮戍的兵卒六千多人，让他们各自戍守本土。岷州栗林羌反叛，子俊埋伏军队突然出击，将其击败逃走。
成化十三年(1477)，朝廷召还余子俊任兵部尚书。他上奏章申述明确条例十项，又列立军功悬赏等级，由此朝廷内外有章可循。缅甸酋长卜刺浪企图夺取思洪发、贡章地，找借口向朝廷要求。子俊说不能答应，朝廷谕止了卜刺浪夺地的企图。贵州巡抚陈俨等因为播州苗人暗中起事，请求调湖广、广西、四川兵五万，会同贵州兵一起围剿。子俊说贼在四川，而贵州请求征讨，是为邀功，上奏章止息这件事。当初，子俊疏论陈钺击杀进贡的夷人之罪，宪宗由于汪直的缘故宽恕陈钺。陈钺在汪直面前多方陷害余子俊，时逢余子俊因母亲去世回家守丧，才免遭陷害。
余子俊建造的榆林边镇城墙，有人怀疑用沙土建造容易倒塌，敌寇来不能依靠。到成化十八年(1482)，寇入侵内地，许宁等追逐的敌寇被城墙濠沟所困，四处乱跑而出不了城，于是被打得大败，边镇的人更加思念子俊的功劳。
三年服满，宪宗授他户部尚书，不久加封太子太保。成化二十年(1484)，兼任左副都御史，总督大同、宣府的军务。这年冬天返回朝廷。第二年正月，星相有变异，余子俊陈述时弊八种，宪宗大多采纳。没多久，又到边境巡视。
当初余子俊巡视宣府大同两镇，要求以延绥边墙法在两镇推行，因年成歉收而停止。到这次他又巡视边境，他坚决要推行，他说东起四海治，西抵黄河，连绵一千三百余里，旧有墩一百七十个，应增建四百四十个，墩高宽都是三丈，估计需要劳动人手八万六千人，几个月可以完成。宪宗下诏书同意第二年四月开工，然而到了那个时候，年成不好，国家和百姓都不宽裕，陡然兴建大工程，上下都感到困难。子俊又想责成边臣去完成，而自己不亲自管这件事，由此招来毁谤和议论。到冬天，他上疏请求还京，宪宗听信谣言，改任他为左都御史，抚巡大同。宦官韦敬进谗言说子俊借修边墙侵吞财物，又弹劾他以私人恩怨换将帅。兵部侍郎阮勤等为他辩白，宪宗发怒，责备阮勤等。而给事中、御史又纷纷呈上奏章弹劾，宦官大半想搞垮子俊。工部侍郎杜谦等前往调查，按实事情况公平地对待，返京向朝廷奏报换置将帅是同阮勤说的情况相符，没有侵吞建边墙的费用。然而花费银一百五十万两、米豆二百三十万石。耗费财物，劳动百姓，不能说没有罪。于是削去太子太保职，退休回家，这时是成化二十二年(1486)二月。
第二年正月，兵部缺尚书，宪宗醒悟到子俊无罪，又召他回来任职，仍加封太子太保。明孝宗继位，因余子俊是先朝老臣，对他更加尊敬。弘治元年(1488)，他上疏陈述十件事，完后又陈述边防七件事，孝宗大多同意实行。第二年，余子俊病重，还亲自撰写奏稿，陈述救荒息盗的办法。刚刚得到朝廷的允准就去世了，享年六十一岁。追赠太保，谥号肃敏。
子俊深沉、刚毅，寡于言词，有谋略。凡是奏章疏议公文，必定亲自起草。每天到半夜才睡，他曾说：“大臣为国，应当不考虑自身利害关系，怎能躲避埋怨换取恩惠，为保全自己作考虑？”因此榆林边墙工程才开始，怨言诽谤众起，子俊态度更坚决，终于大功告成，有利于后世几代人。余子俊孝顺父母、友爱兄弟，为母丧守服时，要儿子余蜫不参加会试，他说“：虽然律令上无这条，但我于心不忍。”本当荫庇封儿子官职，他改为荫庇封弟弟官职。