潘美字仲询，大名人。其父潘王..，任军校戍守常山。潘美年轻时风流倜傥，附属于府中典谒。曾经对家乡人王密说“：汉代将要结束了，奸臣恣肆行虐，天下有改朝换代的征兆。大丈夫不在这个时候建立功名，谋取富贵，碌碌无为与万物一并灭亡，直是羞耻啊。”正好周世宗任开封府尹，潘美任侍从官奉事世宗。到周世宗即帝位后，补任潘美为供奉官。高平之战，潘美因为战功升迁为西上..门副使。后出任陕州监军，改任引进使。周世宗准备用兵于陇、蜀二地，命潘美统率永兴的屯兵，管理西部战事。
先前，太祖对潘美待遇很优厚，受禅即位后，命令潘美先去见执政大臣，宣谕圣旨于中外。陕州主将袁彦凶悍，信任奸佞小人，喜欢杀人贪财，而且修理兵器，太祖怕他变乱，派潘美监视他的军队准备处置他。潘美一人骑马前去宣谕，认为天命既定，应当克守臣职，袁彦于是入朝。皇上高兴地说：“潘美不杀袁彦，能让他来晋见，实现了我的愿望啊。”
李重进叛乱，太祖亲自征伐，任命石守信为招讨使，潘美为行营都监做他的助手。扬州平定后，潘美留任为巡检，以行使镇抚之事，因功授为泰州团练使。当时湖南叛将汪端平定后，人心不安，于是任命潘美为潭州防御使。岭南刘钅长几次侵犯桂阳、江华等地，潘美把他们都赶跑了。溪峒蛮獠等少数民族从唐朝开始，时常侵犯内地，成为百姓的一大祸患。潘美追剿到他们的老窝，诛杀俘获了很多人，对其余的人加以慰抚，这些少数民族地区才安定下来。乾德二年(964)，潘美又随从兵马都监丁德裕等人率领军队攻克郴州。
开宝三年(970)，朝廷下令征伐岭南，任命潘美为行营诸军都部署、朗州团练使，尹崇珂为他的副手。军队进克富州，刘钅长派其将领率领军队一万多人来增援，潘美与他们作战大败敌军，于是攻克贺州。十月，又攻下昭、桂、连三州，西江各州相继投降。潘美因为战功移任南面都部署，进驻韶州。
韶州是广州的北面门户，敌军十余万人聚结在这里。潘美指挥军队乘机进攻，韶州于是被攻下，斩杀俘虏敌军数万人。刘钅长穷愁急迫，派遣他的大臣王王圭到军营来请求和好，又派他的左仆射萧氵崔、中书舍人卓唯休奉表请降。潘美对他们宣谕皇上的意思，认为能战就与他们战，不能战就让他们守，不能守就让他们降，不能降就让他们死，不能让他死就赶走他们，除这五种结果外其他不得接受。潘美就命令殿直冉彦衮指挥押送萧氵崔等人到朝廷。
刘钅长又派他的弟弟刘保兴率领军队抵抗，潘美就率领军队兼程行军赶到栅头，离广州一百二十里远。刘钅长的军队十五万人凭借山谷坚固阵地等待宋军，潘美于是构筑壁垒休整部队，与将领们计议说“：敌军用竹木编为栅栏。如果用火攻，敌军一定溃乱，趁机用精锐部队夹击敌人，是万全之策。”于是分派丁夫几千人，每人拿着两个火把，秘密地行军到达敌军的栅栏。到了晚上，万余火把一齐发攻，正好天气刮着大风，火势很强。刘钅长部队惊动来进犯，潘美指挥军队急忙迎击，刘钅长军队大败，潘美军队斩敌数万人。潘美指挥军队长驱直入攻到广州，刘钅长把他的府库都焚烧了，潘美军队于是攻克广州，擒俘刘钅长押送到京师，并向朝廷报捷。当天，朝廷任命潘美与尹崇珂同知广州兼市舶使。五月，任命潘美为山南东道节度使。五年(972)，潘美兼任岭南道转运使。土豪周思琼纠聚民众依仗海域叛乱，潘美讨平他们，岭南于是安定下来。
七年(974)，朝廷计划征伐江南。九月，派遣潘美与刘遇等将领率领军队先头到达江陵。十月，任命潘美为升州道行营都监，与曹彬一起出发，进驻秦淮。当时船只没有准备好，潘美下令说：“潘美接受诏令，指挥骁勇善战的军队数万人，期望能够一定获胜，怎能因为一条浅水所限而不敢直接渡过去呢？”于是指挥军队渡江，吴军被打败。到采石矶浮桥做成时，吴人用二十多艘战船敲响战鼓溯水而上乘机来攻。潘美指挥军队奋勇而战，夺取敌军的战舰，擒获敌军将领郑宾等七人，又攻破吴军城南的水营栅栏，分派水师驻守。上奏朝廷，太祖派遣使者赶快迁移战船，以防变故。潘美接到诏令马上迁移部队。这天夜晚，吴人果然来攻水营，未能成功。潘美进军金陵，江南水军、陆军共十万人在城下摆下阵势，潘美率领部队袭击，把吴军打得大败。李煜非常危急，派徐铉来请求迟缓作战，皇上没有答应，仍诏令诸将促令他归附。李煜迁延没有结果，连夜派部队数千人，手持火把击鼓来攻宋方军队。潘美率精锐军队与敌军短兵相接，趁机与大将军曹彬率领军队黎明攻城，分多道一齐进攻。金陵平定后，因为战功潘美被封为宣徽北院使。
秋季，朝廷命令潘美辅佐党进进攻太原，在汾河上交战，大破敌军，而且俘虏敌军很多。太平兴国初(976)，改任南院使。三年(978)，加封潘美为开府仪同三司。四年(979)，朝廷任命将领征伐太原，潘美任北路都招讨，判太原行府事。潘美部署诸将进讨，并州于是平定。接着征伐范阳，任潘美为知幽州行府事。到班师的时候，朝廷任命他兼任三交都部署，留下来驻守保卫北部边境。在三交西北方三百里，有个地方叫固军，地势险阻，是北边的咽喉之地。潘美秘密袭击，于是占有这个地方。于是贮积粮食驻扎兵马坚守，从此以后北边得以安定下来。潘美曾经巡视到代州，整顿军备，不久辽国一万多骑兵来侵犯，靠近边塞，潘美誓师后静悄悄地进军与敌作战，大破敌军。朝廷封他为代国公。八年(983)，改任忠武军节度使，升封为韩国公。
雍熙三年(986)，皇上下诏命潘美及曹彬、崔彦进等北伐，潘美率兵单独攻下寰、朔、云、应等州。朝廷命令将当地人民迁至内地。遇到辽兵来攻，在陈家谷口两军交战，不能取胜，骁勇大将杨业战死。潘美因战败被削秩三级，责授为检校太保。第二年(987)，任检校太师。任真定知府，不久，改任都部署、并州通判。加官同平章事，数月后去世，终年六十七岁。追赠中书令，赐谥号为武惠。咸平二年(999)，配置于太宗庙附祀。
潘美的儿子潘惟德官至宫苑使，潘惟固任西上门合门使，潘惟正任西京作坊使，潘惟清任崇仪使，潘惟熙娶秦王的女儿为妻，任平州刺史。潘惟熙的女儿，就是章怀皇后。潘美后来被追封为郑王，是因为章怀皇后之故。