吴山，字曰静，高安人。嘉靖十四年(1535)进士及第，初任编修。经多次提升后做了礼部左侍郎。三十五年，改任吏部职。不久取代王用宾担任礼部尚书。第二年加官为太子太保。
吴山与严嵩是同乡。严嵩的儿子严世蕃通过大学士李本与吴山饮酒，想与吴山结为姻亲。吴山不同意，严世蕃不高兴而作罢。世宗想任用吴山为内阁大臣，严嵩暗加阻挠。府丞朱隆禧，考察后被罢官，他贡献方术，又被加封为礼部侍郎。死后向朝廷请求抚恤，吴山坚决不给。裕、景两座王府一起兴建，太子还没确定。嘉靖三十九年(1560)冬天，世宗忽然告诉礼部，陈述景王的藩仪。严嵩知道皇帝是因郭希颜的奏疏而激动，想观察一下人心，暗示吴山挽留景王。吴山称“，全国对此盼望已久”，立即详细订好礼仪规格交了上去，景王最终到达藩地。司礼监黄锦曾偷偷对吴山说“：您以后能做编氓就是幸事；景王前往藩地，不是皇帝的心意。”
第二年二月初一，正有日蚀，微微阴暗。历官称：“看不到日蚀，就如同没有日蚀。”严嵩认为是上天对本朝廷的钟爱，催促礼部赶紧祝贺皇帝，侍郎袁炜也这么认为。吴山仰首高呼“：太阳刚刚虚亏，将欺骗谁呢？”仍然恭谦地维护正常的礼仪。世宗大为恼怒，吴山认罪。世宗称吴山维护礼制没有罪过，却指责礼科的奏章。给事中李东华等人震惊、惧怕，弹劾吴山，请求与他一起治罪。于是皇帝指责吴山故作正直，沽取名利，停止了李东华的俸禄。严嵩称这是部臣的罪过。世宗赦免了李东华等人，命令暂且记着吴山的罪过。吏科梁梦龙等人看到皇帝很恼怒吴山，又不满足于专门弹劾吴山，于是连同吏部尚书吴鹏一起弹劾。诏令吴鹏退职，吴山以官员身份休闲。当时人都惋惜吴山却为吴鹏的离去深感痛快。
穆宗即位，召见他任命为南京礼部尚书，他坚决推辞不上任。去世后，追赠少保，谥号文端。