裴遵庆的字叫少良，绛州闻喜县人。
他从小刻苦学习，博览群书，胸有才干却含而不露，不参加科举。年龄已大，才因上辈的功劳被任命为兴宁陵丞，后调任大理丞。边境将领萧克济督促劳役苛刻暴虐，役夫说他的坏话，有关部门要按反叛论罪，裴遵庆说：“他们讲财产不能招兵，讲勇力不能服众，怎能造反？”因此保全了十几族的性命。他多次升官后任吏部员外郎、判南曹。天宝年间，参加科举的每年上万人，裴遵庆生性能干敏捷，阅卷评选，详细而不苛刻，当时认为他是吏部第一人。
唐肃宗时，他任吏部侍郎。萧华任宰相，多次推荐他，于是任命他为黄门侍郎、同中书门下平章事。
唐代宗初年，仆固怀恩不听命令，皇帝因为裴遵庆性情宽厚又任重臣，派他带诏书去宣诏慰问，仆固怀恩接受诏命后准备进京朝拜，后被他的部将范志诚劝阻。当时皇帝逃到陕郡，裴遵庆抽身赶赴皇帝驻地。皇帝回到京城后，提升他任太子少傅。后免职任集贤院待制，又调任吏部尚书，以尚书右仆射身份又任知选事，皇帝优待他年迈，让到他家里去任命官职，当时人认为荣耀。
曾有同族兄弟的儿子有疯癫病，告发他谋划反叛，皇帝知道他是瞎说，搁置不予追究。他生性厚道正直，年老后更加谨慎。每次推荐了贤才，有来感谢他的，他认为是耻辱。劝谏被采纳了，他去宫中反更谨慎了。即使是亲人近侍，只知道他常写奏疏，但不知道他说了什么。
大历十年(775)他去世了，享年九十多岁。据说当初他当郎官时，撰写了《王政记》，叙述古今的政治体制，有见识的人知道他有宰相的才干。