潘府，字孔修，上虞人。成化末年进士。宪宗去世，孝宗即位，潘府上疏奏请皇帝按制行三年丧礼。他说：“子为父、臣为君都要着孝服守孝三年，这是至仁至义的大事。汉文帝崩，遗诏减少服丧期间，是为天下臣民着想，但景帝即位自己却不按制守孝三年，从而使千古纲常遭到破坏。晋武帝欲按旧制而不能行，魏孝文帝也未完全实行，宋孝宗锐意复古，也未能推行于下，这些都不足以成为圣王之至孝。先帝忽然驾崩，臣子庶民都怀哀痛之心，陛下忧伤不已，穿孝衣临朝，百日未改。望陛下力排众议，决心执丧三年，一如三代旧制。诏令礼官参考经史所载规定，使丧事不违礼仪，朝廷不耽误政事。定为不可更改的制度，传于子孙后代，岂不是件伟大的事情。”奏疏呈上后，朝廷诏令内阁辅臣会同礼官详细讨论，都认为要实行原来制定的制度，但终究未能实行。
潘府被任命为长乐知县，在该县教民实行《朱子家礼》。他亲自到郊野去访问民间疾苦。田夫野老都感到潘府待民亲切，纷纷请求著文题辞，潘府欣然同意。后调升南京兵部主事，陈奏有关军民利害的七件事。父亲去世，守丧期满，调任北京刑部主事。这时发生了旱灾、蝗灾、星变、北寇入侵、孔庙失火等不幸事故，潘府上疏呈请整治内政，抵御外敌入侵。又呈上匡正弊政的十项建议。为了就近奉养父母，请求南迁，因而改任南京兵部主事。后升武选员外郎。尚书马文升知潘府贤能，越级提拔为广东提学副使。因母亲年老，请求辞官归家奉养，不等朝廷诏令便自己回去了。随后，吏部尚书杨一清及巡按御史吴华，多次向朝廷举荐，始终未起用。
嘉靖改元，谏官们都荐举他，朝廷起任他为太仆少卿，后改为太常寺少卿，他请求退休。归家后隐居于南山，穿的是布衣，吃的是素食。每日以阐发经传为己任。这时王守仁在本乡讲学，离潘府家乡不过百里，而两人学术思想却颇不相同。他曾说：“做官有三本：俸禄薄为廉之本；不沉溺于声色为勤之本；不听谗言、不徇私情为明之本。”又说：“荐举贤人应唯恐落后于别人。论功应唯恐在前。”年七十三岁而卒。按成例，四品官只赐祭，而世宗重视府的孝道行为，特诏令赐葬。