王存字正仲，润州丹阳人。从小善于读书，十二岁时，辞别亲人在江西拜师，五年才归。当时读书人正崇尚雕饰文辞，王存惟独写古文几十篇，乡老先生见到这些古文，自认为不及。
庆历六年(1046)，登进士第，调任嘉兴主簿，提升为上虞县令。豪门大族杀人，很久没有人敢过问，王存到任，审察到是州吏接受贿赂，豪门大族于是贿赂其他官员变改其狱案，王存反而被免职离去。过了很长时间，王存被授予密州推官。王存洁身自重，被欧阳修、吕公著、赵概所知遇。治平年中，入为国子监直讲，升任秘书省著作佐郎，历任馆阁校勘、集贤校理、史馆检讨、知太常礼院。王存原来与王安石相厚，王安石当权，多次引荐相互论事，意见不合，就辞谢没有前去。王存在三馆累年，没有稍稍贬低别人以希求进用。皇帝曾在便殿召见他，连连上书指陈时政，因而涉及大臣，无所附会，都是当时人难以说出的事情。
元丰元年(1078)，神宗察知他忠实不偏私，以他为国史编修官、修起居注。当时起居注虽然每天侍随，但奏事必须禀承中书等待旨令。王存请求恢复唐代贞观左右史执笔随宰相入殿的成例，神宗赞成王存的意见，听任直接上前奏事，这是从王存开始的。
第二年，王存以右正言、知制诰、同修国史的身份兼判太常寺。论在祭坛合祭天地为不符合古制，应像《周礼》规定的那样亲自祭祀北郊。官制实行，神宗急于用人，王存请求自熙宁年以来众臣因论事获罪，或者因贻误被贬斥但真心忠诚没有大的过失的人，随其才能召用提升，以备官府差使。王存的话符合神宗的心意，因此而收录提拔了很多人。王存又说：“赦令出自陛下的恩惠，但近年议论法令治理狱案的人，多请求不用赦降原减。官衙禁止进见，本来是防止请托，但吊祭死者慰问疾病，一切都予杜绝，都不是适宜的。”执政大臣不高兴。
元丰五年(1082)，升任龙图阁直学士、知开封府。京城傍河的居民，谋取开凿汴河堤防以自行扩大地盘，有人请命培植修筑恢复原样，又审察百姓屋舍侵占官道的使退还。这二个计谋出自宦官，已有诏命了。王存说：“这是我的职责。”入朝上言此事。当天驰放筑堤的工役，京城人欢呼互相庆贺。王存进官枢密直学士，改任兵部尚书，转任户部尚书。神宗去世，哲宗即位，永裕陵财政费用，没有超过时间即宣告备办，宰相乘机又把王存移任兵部尚书。太仆寺请求内外马事得专线通达，不要隶属驾部。王存说“：这样，官制破坏了。先帝纠正省、台、寺、监的职权，使互相牵制，不可以曲从有关部门便利，而败坏已经形成的制度。”元..初年，王存还任户部尚书，坚决辞谢不接受。元..二年(1087)，授任中大夫、尚书右丞。元..三年，升任尚书左丞。
有人建议废除京畿内保甲，王存说：“现在京师兵员越来越削弱，又废除保甲不予教练，这不是国家根本长久之计。何况先帝不畏艰难而为之，既然已经就绪，无故而废除它，这不行。”门下侍郎韩 维被罢免，王存说：“除去一个正直的人，天下失望，忠臣丧气，谗言邪佞之人将争相进用了。”又论杜纯不应罢免侍御史，王觌不应罢免谏官的职务。
四方各地上奏审判定案大法，刑部援引旧例请求宽大，尚书省屡以无可宽恕拒绝。王存说“：这是祖宗的制度。官员想救他，但朝廷破例杀他，可以吗？”又说“：近来废除进士专经一科，杂试诗赋，有失先帝贬退词律、崇尚经术的心意。”黄河决口向北流已几十年，水官建议归回旧有的河道，王存争论说：“原有的河道已经增高，水性趋下，白白浪费财力，恐怕不会成功。”最终停止了这一工役。蔡确以写诗怨恨毁谤获罪，王存与范纯仁想减轻他的罪行，蔡确再贬新州，王存也被罢免，以端明殿学士的身份知蔡州。开始，王存移任兵部，是蔡确之力。到这时，因为蔡确而被罢免，士大夫称赞王存能不记前嫌。一年多后，加官资政殿学士、知扬州。扬州、润州相距一条河，用以前宰相的旧例，王存得以在逢年过节时访家上坟，拿出皇帝赐给的钱分给邻里，又备办酒食召见父老，亲自与他们互相敬酒，家乡人传为美谈。
召为吏部尚书。当时，在朝廷朋党之论渐烈，王存对哲宗说：“人臣各树党羽，互相倾轧，诚然不可助长，但如果不明察，那么滥及好人。庆历年中，有人指责韩琦、富弼、范仲淹、欧阳修为朋党，幸赖仁宗圣明，不为所迷惑。今天果真有进此说的，希望陛下明察。”
绍圣初，因年老请求辞官，提举崇禧观，迁右正议大夫致仕。按照旧制，应得太子少保、少傅，议者指责王存曾建议归还西夏侵地，所以减除他的恩典，不久降为通议大夫。王存曾经悲伤近世学士贵为公卿，但祭祀其先人，只遵循平民的礼制。等到告老回乡建筑居所，首先营造家庙。建中靖国元年(1101)，王存去世，终年七十九岁。赠左银青光禄大夫。
王存性情宽厚，平素居处谦恭谨慎，不做欺诈过激的事，至于他所坚守的，则刚强不可以剥夺。司马光曾说“：一同在万马奔驰中能驻足的人，当数王存啊！”