余子俊是四川青神县人，景泰二年进士，历官户部主事，员外郎，西安知府，陕西右参政、右布政使，浙江左布政使，在成化六年受任“右副都御史”“巡抚延绥”。
他就任以后，便上疏请求建筑“边墙”。他的前任王锐，也作过如此的建议，然而未能实现。他一再上疏，痛陈利害，而且开出一张账单，说，以成化八年一年的开支而论，为了供给延绥驻军的人马，需要九十四万两银子的米与豆，六十万两银子的草（人吃米，马吃豆和草），与八百二十五万两银子的运费。合起来，近乎一千万两银子（九百七十九万），真是朝廷的一大负担。宪宗时中央的岁入，无考。孝宗弘治年间的收入，约为
总数，倘以米麦一石折银一两，绢一匹折银五两，也不过是三千一百七十一万两银子而已。
建筑边墙，也是花钱的事，但在余子俊看来，这是值得的。保障了边墙以内的军屯与农户，便可以增加当地的粮食，免掉不少的运费。他的计划是，役使现有的“运粮民”五万人，用两个月的工夫，把边墙筑成。
宪宗接受他的建议，叫他快做。恰好，王越在成化九年捣毁满都鲁等的红盐池老巢，余子俊便在成化十年很顺利地完成了他的伟大工程。所役使的运粮民仅有四万人，而所花的时间也不过是两个多月而已。
这边墙，便是今日万里长城的中段。东起绥远的清水河（清水县）、西抵宁夏绥远之间的花马池（盐池县），全长一千七百七十里。沿着这边墙，有十一个城堡，十五个边墩，七十八个小墩，八百一十九个崖砦。
墙内的官地，分给军人屯垦，每年生产军粮六万石，足够驻军之中两三万人的粮食。
更大的收获是：陕北与宁夏东南以及甘肃东北，均获得了保障。其后，在成化十八年敌军进攻延绥，王越全靠这边墙挡住了大部分敌军；少数窜进来的，由于有这个边墙阻碍了归路，被许宁杀得落花流水。
余子俊于筑好边墙以后，于成化十二年改任陕西巡抚，成化十三年升任兵部尚书，成化二十年一度兼左都御史、总督大同宣府军务。次年，建议延长边墙，西起黄河，东达“四海冶”（北京市延庆区东），共长一千三百余里。这一段新的边墙，其后于成化二十二年兴筑，筑成。他在弘治二年病故，享寿六十一岁，追赠太保，予谥“肃敏”。