裴肃，字神封，品格高洁，多才多艺。少小与安定的梁毗志同道合，关系密切。天和年间，被举荐为秀才。逐步升迁，任御正下大夫，以行军长史的职务跟随韦孝宽征讨淮南。周宣帝宇文斌贝任杨坚为丞相，裴肃听说后感叹道：“武帝靠雄才大略平定天下，他坟上的土还没有干，却一旦变革，难道是上天的意思吗？”隋文帝杨坚听了很不高兴，因此他被免职回家。开皇五年(585)，朝廷任他为膳部侍郎。历任朔州总管长史、贝州长史，都被称为有才能的官吏。
仁寿年间，裴肃见皇太子杨勇、蜀王杨秀、左仆射高赹都被罢黜，便派人给朝廷上书，说：“高赹是天赐的良才，国家的元勋，辅政的大臣，希望能记住他的大功，忘掉他的小过。两位被贬为庶人的皇子，如不革心洗面，希望能封给他们一个小国，观察他们的所作所为，如果弃恶向善，就逐渐扩大他们的封地；如果怙恶不悛，再将他们贬谪也不算晚。”奏书到达文帝那里，文帝对杨素说：“裴肃如此关心我的家事，也是出于一片至诚啊。”于是，征调裴肃入朝。皇太子杨广听说后，问左庶子张衡：“让杨勇改过自新，想干什么？”张衡答道：“看裴肃的意思，是想仿效吴太伯和汉代的东海王吧！”杨广十分不愉快。裴肃到京城，在章含殿拜见文帝。文帝对他说：“我虽贵为天子，拥有天下，但后宫的嫔妃，不过只几个人。我的儿子自杨勇往下，都是同母所生，不是出于对他们的爱憎，才任意废立。”并说杨勇不能再被立为太子。不久，文帝将他罢官遣送回家。没过多少日子，文帝驾崩，炀帝继位，裴肃长时间不被任用，他也干脆闭门不出。
后来，朝廷当政者认为岭南偏远，根据炀帝的意思授给裴肃永平郡丞的职务。裴肃在任上兢兢业业，很受蛮族人的欢迎。一年多后死在任上，蛮夷们怀念他，在鄣江边为他立庙祭祀。