裴蕴，河东闻喜人。祖父裴之平，父裴忌，《南史》都有传。裴忌在陈朝，与吴明彻一同被周朝俘虏，周朝赐爵江夏公，入隋十多年而死。
裴蕴聪明善辩，有官吏之才，出仕陈朝，历任直阁将军、兴宁令。因为父亲在北朝，裴蕴私下上表给隋文帝，请求作为内应。等到陈朝被消灭，文帝接见江南投降的官员，依次到了裴蕴，因为裴蕴早就有归顺隋朝之心，越级授为仪同。仆射高赹不明白文帝的旨意，谏阻道：“裴蕴对国家没有功劳，宠幸超过同类人，臣认为不可。”又加授上仪同，高赹又谏阻。文帝说“：可以加授开府。”高赹才不敢再说。即日升任开府仪同三司，礼仪赏赐优厚。历任洋州、直州、棣州三州刺史，都有好名声。
大业初年，考绩连年最佳。隋炀帝听说裴蕴政绩甚佳，征召裴蕴入京任太常少卿。当初，隋文帝不喜爱音乐技艺，派遣牛弘审定音乐，不是正声清商乐和九部四舞之类的，都剔除出来，回归民间。到了现在这种情况，裴蕴揣测炀帝的意思，奏请收罗天下周、齐、梁、陈四朝的声乐之家的子弟，都作为乐户。六品以下以至于平民百姓，有擅长音乐和倡优百戏的人，都隶属太常。自此之后，奇异的技艺，淫荡的音乐都汇集在乐府官署，皆设置博士，递相教习传授，乐人增加到三万多人。隋炀帝十分高兴，升任裴蕴为户部侍郎。
当时尚承接文帝时的和顺升平，禁忌罗网宽疏，户籍人口多有疏漏。有的年已成丁，还诈称为小儿，有的未到老年，已免除租税。裴蕴历任刺史，原就知道这种情况，因此逐条奏闻，皆令查验相貌。如果有一人不属实，就将负责的官吏免职，乡正、里长都发配到远方。又准许百姓互相告发，如果查出有一丁隐瞒，就让被揪出的人家代为输奉赋税和劳役。这一年是大业五年。名个州郡合计增加人丁二十四万三千，新增加户口六十四万一千五百。隋炀帝临朝观览奏状，对百官说：“前代没有好人，致使出现这种欺瞒冒昧之事。如今增加百姓人口都能够属实，全都由于裴蕴一人花费心思。古人说‘得到贤才而治理’，检验于事实确实如此。”因此，裴蕴逐渐受到宠信和重用，任京兆赞务，纤毫之事都得到揭发检举，官员百姓都惊恐忌惮。
不久，裴蕴被擢升为御史大夫，和裴矩、虞世基一起参与掌管机密。裴蕴善于体察皇帝的细微之意，如果想归罪某人，就枉法徇情，铸成其罪名；如果想宽恕某人，就依从轻的法典，因而就把他释放。自此之后，大大小小的案件都交付裴蕴审理，刑部、大理寺都不敢与他争夺，举动必定秉承他的意思，然后才作出决断。裴蕴亦是机敏善辨，论述法典刑理，口若悬河，不论刑罚轻重，都是由裴蕴一口决定，解剖析理，明辩敏锐，当时的人不能有什么疑问。
杨玄感造反，炀帝派遣裴蕴推问杨玄感的党羽，对裴蕴说：“杨玄感一声呼喊，跟从的人有十万。越发知道天下的人不要求多，多了就相聚为强盗。不全部加以诛杀，就无法惩戒后人。”裴蕴因此就用严刑峻法加以审理，杀戮数万人，其家产皆籍没入官。炀帝大加赞赏，赐给裴蕴十五个奴婢。
司隶大夫薛道衡因为违忤炀帝的旨意而遭贬斥，裴蕴知道炀帝讨厌薛道衡，就上奏道：“薛道衡自负有才，倚仗着是旧臣，心里没有君主。每次见到诏书下，就在腹内指责非议，把自己的恶意推及国家，妄自制造祸端。论其罪名，似乎隐晦暗昧，探究其情意之源，大为悖乱叛逆。”炀帝说“：是这样的。我小的时候和这个人相随在行旅中，他轻视我年幼，和高赹、贺若弼等人专擅权威。他自知有欺瞒之罪，到我即位时，心中不能自安，仰赖天下平安无事，才没能造反。你说他叛逆，巧妙地体味到了他的本心。”于是就诛杀薛道衡。
炀帝又向苏威询问征讨辽地的策略，苏威不希望炀帝再去征讨，而且想让炀帝知道天下盗贼很多，就诡诈地回答说“：如今这次征讨，希望不要出动军队，只是颁诏大赦群盗，自然可以得到数十万人。派遣关中的奴贼和山东的历山飞、张金称等盗贼头领另为一支军马，出兵辽西道；河南诸贼王薄、孟让等十几位头领，给他们舟船，渡沧海道。众贼必因免除罪名而欢喜，争着要求立功，一年之内，高丽国就可以消灭了。”炀帝不高兴地说“：我去尚且不能取胜，鼠窃狗盗之辈怎能成功！”苏威出去后，裴蕴奏道：“这人太不恭敬，天下哪里有这么多贼？”炀帝省悟道：“苏威老贼多有奸诈，用盗贼来威胁我。想利用他的口，故而只是容忍。这人实在是让人难以忍耐。”裴蕴知道炀帝的意思，就派张行本上奏苏威的罪恶，炀帝就把苏威交给裴蕴审讯，于是就把苏威杀了。炀帝说“：不能忍受就杀。”于是就将苏威父子和孙辈三代都除去名籍。
裴蕴又想加重自己的权势。令虞世基奏请罢除司隶刺史以下的官员属吏，增设御史一百多人。于是裴蕴引荐罗织奸邪狡黠之人，一起结成党羽，郡县官吏有不依附他们的，就暗地中伤他们。这个时候国家多事，凡是兴师动众、京都留守和各藩镇互相交易，都命令御史监督。宾客和各类依附之人，遍及郡国，侵害骚扰百姓，炀帝不知道这些事情。渡海击辽的战役中，晋职位银青光禄大夫。
司马德勘将要作乱的时候，江阳长张惠绍连夜驰报裴蕴。裴蕴和张惠绍秘密谋划，想假传诏令，调动城里的军队和百姓，集中在一起听从荣公来护儿的调度指挥，收伏京城之外的乱党宇文化及等人，接着调动羽林军和为隋炀帝拉龙舟的人，派遣范富娄等人到西苑，取梁公萧钜和燕王来处理此事，然后上门救援炀帝。谋划计议已定，派人报告虞世基。虞世基怀疑造反的事情不实，就把裴蕴的计谋压下了。很快，灾难就发生了。裴蕴感叹道：“和虞世基谋划，竟然误了大事！”于是被杀害。其子裴忄音，任尚辇直长，也在同一天被杀害。