寇俊，字祖俊，性格温雅宽厚，小时候就有见识和抱负，好学且善于记忆。他生性廉洁，不为财物私利动心。家里人曾经卖东西给别人，赚了一匹绢。寇俊后来知道了这件事，就说：“得到了财物而失去了德行，我认为很不足取。”找到了货主将绢还给了他。他被选为孝文帝的挽郎，任命为奉朝请。大乘的贼寇反叛，燕、赵之地遭到侵扰，寇俊参与军中谋事，跟随东讨，因为军功而被授予员外散骑侍郎之职。逐步升任为司空府主簿。当时正是灵太后掌权临朝，削减了十分之一领俸禄的官员，用省下的钱来兴建永宁佛寺，命寇俊为工程主管。建寺耗资巨大，但上上下下的大小官吏，都不敢有贪污舞弊的行为。寺建成后，极为壮观宏丽。灵太后嘉奖他，任命他为左军将军。孝昌年间，朝廷商议决定因国家开支费用不足，设置掌管盐池的都将，官俸同上郡官员一样。前后担当这个职务的人大多有贪污之举，于是任命寇俊接管，仍兼主簿之职。
永安初年，华城人史底同司徒杨椿打官司争一处田产。长史们因为杨椿地位显贵，都说杨椿有理，想将这块田产判与杨椿。寇俊道：“史底是个穷人，杨公仗势抢了他的地，如果使穷者更亏而使富者占便宜，要让我赞同，我就不敢听命了。”于是把地判给史底。寿庄帝后来听说了这件事，嘉奖寇俊正直而不屈，官拜司马；那些倾向杨椿的人都受到责备。
永安二年(529)，寇俊出任梁州刺史，当地民风凶悍不羁，很多人都去当盗贼。寇俊就令各郡县设立学校，劝百姓安心务农，用礼让之道敦促教化百姓。数年之中，风俗焕然一新。梁派将领曹琰之镇守魏兴，连日加固城防。曹琰之屡次骚扰劫掠边境的土地，边民们为此困扰。寇俊派长史杜林道攻克了魏兴城，并且擒获了曹琰之，曹琰之是梁的大将曹景宗的小弟弟，由于这件事梁人害怕寇俊了。梁人看到魏国皇室变故颇多，梁州又在偏远之地，知道没有外援，于是大兵驻扎在魏兴，图谋攻取梁城。寇俊鼓励将士，使得人人都愿意为他效命。梁人打听到他很得人心，因而不敢逼近梁州。寇俊在任期间生活清苦，也从不置办私人产业，所以任期满时，和儿子一起徒步走回，官吏百姓都来相送，在路上留连不去，很久才出了州界。
大统三年(537)，东魏任命寇俊为洛州刺史，寇俊这才想回朝廷任职。大统五年，携家室及亲属四百人入关，官拜秘书监。当时国家和军队都在草创阶段，古代的典籍散落流失，寇俊开始选拔设置令史，抄录收集经书典籍，四部的各种书籍，逐渐齐备周全，被加官为镇东将军，封西安县男。大统十七年，加为散骑常侍，于是自称病重，不再朝觐皇上。恭帝三年(556)，赐姓为若口引氏。孝闵帝即位，给他晋为子爵。武成元年，升为骠骑大将军、开府仪同三司。
寇俊年龄虽然很大，但心智学识丝毫未减，他教授子孙，一定要先教给典法礼仪。明帝崇尚儒学重视德行，特别敬重赞赏寇俊，多次给予恩赐，很想与他相见。寇俊不得已，只得入朝。明帝和他同坐一席，请教他洛阳过去的一些事情。寇俊身高八尺，须发如雪，容貌举止端正安详，声音清朗。明帝和他谈论，不知不觉屡次坐到他膝前，直到寇俊辞别回家，明帝亲自拉着他的手道：“您年老德高，为朕所钦佩推崇。还有许多事要请您赐教，最好能经常相见，可以让我少一些思念。”命令乘上御舆在皇帝之前出宫。明帝对左右侍从道：“像这样的荣誉，只有积善的人才能得到，他不仅被今世所敬重，还将会流传千秋万代。”当时人们无不认为这是莫大的荣耀。寇俊死时八十二岁。武帝对此深为叹惜，赠他原来官位，并加冀、定、瀛三州诸军事、冀州刺史，谥号“元”。
寇俊厚道仁义，他家亲属当中有年幼孤儿，衣食优劣，都和他相同。年轻时被司德崔光所器重，崔光命自己儿子崔励同寇俊结交为友。寇俊每次去拜访崔光，往往倾谈到日偏西。小宗伯卢辩因为寇俊学业品行都很优异，以师友之礼相待他，一有空闲的时间，就到寇俊那里摆宴畅谈整整一天。他常对别人说“：见不到西安君，我心头烦忧之事就不能排遣。”寇俊就是这样被人们所敬重。