潘乐，字相贵，广宁石门人。他家本来是广宗的大姓，北魏时被分配镇守北部边境，因而在那里定居。父亲潘永，有技艺才能，继承了广宗男的爵位。
他刚出生时，一只鸟儿落在他母亲的左肩上。占卜者都说这是富贵的象征，因而取名相贵，后来名才变为字。长大后，为人宽厚，很有胆略。最初归附葛荣，葛荣命他为京兆王。当时，他才十九岁。葛荣失败，他又跟随..朱荣。被任命为别将，去讨伐元颢，因立功被封为敷城县男。
齐神武帝高欢任晋州刺史，命潘乐为镇城将军。后来，他跟着高欢在广阿打败..朱兆，被晋爵为广宗县伯。积累军功，被任命为东雍州刺史。神武帝曾议论想废去州一级的建制，潘乐认为东雍州有大河高山的险峻形势，四境连接胡地和蜀地，是一个位置重要的地方，不可废弃掉。所以，东雍州被保留下来。后来，他又跟着神武帝在河阴打败北周的军队，并讨论是否追击。神武帝命同意追击的人站到西边，不同意的站在东边，只有潘乐和刘丰站到了西边，神武帝对他很欣赏。因为多数将领不同意，才停止追击，改封他为金门郡公。
文宣帝高洋管理朝政，潘乐镇守河阳，打败北周的将领杨瞯等人。当时，文宣帝认为怀州刺史平鉴等人修筑的城池深入敌人境内，想放弃掉，潘乐认为轵关地处要塞，必须牢固防守，便进一步修理，增加兵将，而后才回来。仍镇守河阳，被封为司空。北齐受东魏禅让，潘乐晋封为尔绶，被任命为河东郡王，迁任为司徒。
周文帝宇文泰率军东至崤、陕一带，派他的行台侯莫陈崇自齐子岭进逼轵关。仪同杨瞯从鼓钟道出建州，攻陷孤公戍。北齐朝廷命潘乐率大军抵御周军。潘乐率军日夜兼程，到达长子，派仪同韩永兴从建州西部迎击侯莫陈崇，周军失败逃跑。
潘乐又充任南道大都督讨伐侯景。他从石鳖出发，南行一百多里，到达南梁的泾州。泾州过去在石梁，侯景改称为淮州。潘乐占领这片地方，仍建立泾州。他又领军攻克安州一带的土地。被任命为瀛州刺史，仍攻略在淮河、汉水之间。天保六年(555)，死在悬瓠，朝廷追赠他为假黄钺、太师、大司马、尚书令。