崔伯谦，字士逊，贫困在家侍养母亲。齐神武帝任命他为相府兼功曹，称赞他道“：崔伯谦清廉正直，为公尽责，真是个好助手。”他又转任为七兵、殿中、左户三曹郎中。他的弟弟崔仲让为北豫州司马，和高慎一起反叛。他因此被牵连而免官。后来他历任瀛州别驾、京畿司马。文襄帝将要去晋阳，慰劳他道：“卿帮助治理的瀛州已呈现一片太平景象。今后军府的繁杂事务，都要靠您处理了。”临别时，又在马上握住他的手道：“握住您的手，要与您共同生活到老，卿应该深刻体会我的用意。”他同族的弟弟崔暹当时很得宠，崔伯谦和他既是同事又是同宗，但若没有喜事和丧事从不去拜访他，一直以高雅自居。
天保初年，崔伯谦出任济北太守，用恩德和诚信治理当地，禁止有钱人奢侈浪费，周济穷人并鼓励他们致力农桑。县里的公田土壤肥沃，崔伯谦都将它们调换给百姓。他又改革鞭刑，用熟皮做鞭，不忍心在施刑时让罪人出血，只是以示耻辱而已，朝中掌权的重臣路过该郡境内，问当地百姓太守为政的情况如何。回答道“：太守的恩德教化，自古以来无人可比。”并给他背诵当地人做的歌道：“崔府君，能临政，退田易鞭布威德，人无争。”来人问道“：既然说他以恩惠教化为政，怎么又施威严呢？”回答道：“官吏都害怕他的威严，老百姓都得到他的恩惠，所以说威德兼备。”由于他是相府的旧官员，按例要加官，被征召至邺赴任。临走时百姓痛哭流涕，拦在路上，数天不能前行。
因为他弟弟崔仲让在西魏，他不能在朝为官，出任南巨鹿太守，一到任就用礼让之道治理当地，豪绅们都改过自新。他不论大小事务，都要亲自过问。县里有些贫困孱弱的人有事得不到公正处理，都说：“我直接告到白须太守面前，不愁得不到解决。”他任郡守七年，监狱里没有长期在押的囚犯。每次有大使前来巡察，崔伯谦的政绩都被评为上等，后来被拜为银青光禄大夫。
崔伯谦年轻时攻读经、史，晚年爱读老、庄的著作，仪容举止庄重，无愠怒之色。亲朋好友到了，就设酒款待，一起谈笑，清谈而不涉及世俗之事，士大夫们都以他为榜样。去世后，追赠为南光州刺史，谥号“懿”。