王彪之，字叔武。二十岁时鬓发胡须皆变白，当时人称他王白须。最初拜官为佐著作郎、东海王文学。堂伯王导对他说：“吏部打算让你任尚书郎，你有希望做诸王的佐吏呀！”王彪之说：“职位的高低不足计较，自当在当朝任职。至于超格升迁，并非我的愿望。”于是王彪之就做了尚书郎。镇军将军、武陵王司马日希召他做司马，累迁为尚书左丞、司徒左长史、御史中丞、侍中、廷尉。
当时永嘉太守谢毅，在皇帝大赦天下后杀了同郡人周矫，周矫的堂兄周球上扬州告状诉冤。扬州刺史殷浩派从事捉拿了谢毅，交付给廷尉。王彪之以为周球作为案件控告者，身无爵位，不属廷尉所管辖，不肯受理此案，与州相反复推辞。晋穆帝下诏令王彪之受理此案。王彪之又上疏坚持照章办事，时人将他比作西汉的张释之。朝廷将于南郊祭天，简文帝当时为抚军大将军，执掌朝政，询问王彪之是否应赦免天下罪人。王彪之回答说：“中兴以来，南郊祭祀往往要实行大赦，愚臣以为不宜赦免。为什么呢？百姓不明其用意，都将以为郊祀必有大赦，到此时，凶恶愚顽之徒又会抱侥幸心理为非作歹了。”于是简文帝听从了王彪之的意见。
王彪之转任吏部尚书。简文帝下令以秣陵令曲安远补任句容令，殿中侍御史奚朗补任湘东郡太守。王彪之坚决不从，说：“秣陵是三等县而已，殿下从前任用曲安远，舆论竟哗然。句容靠近京城，是三等佳县，怎能交付给以卜术惑众的无才庸人呢！湘东郡虽然偏远狭小，但历任太守还没有像奚朗这样的人，舆论将认为奚朗兼好卜术才得以晋升。殿下如果破格起用那些贫贱者，应使有用之才得以选拔。奚朗等是庸才，实不足以担当此职。”
太尉桓温想举行北伐，朝廷屡次不准许。桓温便愤然离开京师去武昌，朝里朝外人情震恐。有人劝说殷浩引身告退，王彪之对简文帝说：“这不是为保国家社稷为殿下着想，都是为自己打算而已。假如殷浩离职引退，朝廷人心将会崩溃，天子孤立无助。到那时，该担当其责任的，不是殿下又是谁呢？”又对殷浩说：“桓温违抗君命兴师问罪，足下将首当其冲。事到如此，猜忌对立已经形成，再想做平民百姓避祸，哪里还有可能呢？为今之计只有冷静地等待。请丞相会稽王给桓温写封亲笔信，表示诚意，陈述成败利害关系，桓温必定会退兵。如不顺从，就给他下皇帝手诏。如再不奉命，就以正义之师予以制裁。平白无故自己慌乱，将会带来不好的后果。”殷浩说：“决策大事正感到难办，近日来使人烦闷不安，听足下一番谋划，心胸豁然开朗。”桓温也遵奉皇帝之命，果然不进兵问罪。
其时朝廷官员日渐众多，而且迁职频繁，王彪之上疏议论道：
为政之道，以选拔贤才为当务之急，不要认为满朝仪态温文的百官，仅仅是个标志而已，百官任职要有助于时务，要尽职尽责，忧虑天下。选拔贤才，在于看他到官任事；为官任职，要能长久；百官长久尽职尽责，天下自会教化成功。因此三年一次考绩，三次考绩才予以升降，不希望一下子就有收获，不指望短期内建立声誉。因此大贤之才将会功齐北斗，道通四海，风范流播远近，声名传颂千古。平庸之辈多，贤能之士少，天下贤才少而朝廷官多，岂能不使贤愚混杂，清浊同流！辟员多则失职的也多，失职多则官吏迁职也快，前去后来，互相交换替补，并非故意要这样做，而是这样做顺理成章罢了。这是授官制度不完善，朝廷风气不清明的原因。完善授官制度，在于减少官员；澄清朝廷风气，在于合并职务。官员减少便于公正地选拔人才，而且能长久任职，职务合并可以使人事简易且风俗清静；公正地选拔人才可以使贤能之士长期在职位上尽心尽力，能长期在职分上尽心尽力，即使中等才干者也可有所成就。
现在朝廷内外官职，比较算来，有些本该合并或撤消。六卿之职，太常声望高职权大，然而所掌管的意义重大而事务简单。宗正所统辖的事少，可以并入太常。保卫宫廷的责任，由东西两宫卫尉担负，其次有骁骑、左军各有所领，凡是无兵的军校都应废除。四军都废除，左军之名就不能单独设立，应改设游击与骁骑对应。宫廷内务官自侍中以下，旧制都是四人，中兴初期，只设二人。二人司职，有时有不周密之处，愚臣以为改设三人，在处理事情上不会出过失。凡是余下的官员，不管实事的，可让主管官吏根据才位来兼任。若这些官职不能马上废除，可视其有空缺的减去一些。对在职的官员划定其职分，责成他们有所建树，贤能与否通过考察其政绩而显露，清浊好坏随着进退而分明。虽不能达到圣明、昌盛的尧舜、文王之世，但使百官的选用大体公正，任职的时间相对长久，不虚费朝廷的俸禄，简化官府烦劳的琐事，还是可以做到的。
永和末年(356)，多发传染病。按旧例，朝中大臣之家有传染病，家中传染三人以上的，即使自身无病，百日内也不得进宫。此时，文武百官多称家有时疾而不入朝理事。王彪之又进言道：“瘟疫之年，没有哪一家不传染。如果因此就不入宫，那恐怕连近侍也无人充当，皇宫将会空无一人了。”朝廷听从了王彪之的进谏。
不久长安人雷弱儿、梁安等诈称杀苻健、苻眉，请晋出兵接应。当时殷浩镇守寿陽，便率部进驻洛陽，准备修复皇陵。适值王彪之患病回家，给简文帝写信，陈述雷弱儿等形迹可能有诈，殷浩不应轻举冒进。不久果然发现雷弱儿有诈，姚襄反叛，殷浩大败，退守谯城。简文帝笑着对王彪之说：“果然如您所言。近来，足下谋划准确无误，张良、陈平又怎能超过您呢！”
王彪之改任领军将军，迁尚书仆射，因病不就。迁太常，兼崇德宫卫尉。其时，有人对简文帝说：“武陵王府第中大修器杖，将图谋不轨。”简文帝询问王彪之。王彪之说：“武陵王的志趣尽在骑马打猎而已。请冷静对待，听听不同看法。”有人又向简文帝说了与王彪之同样的看法，简文帝十分高兴。
王彪之又改任尚书仆射。其时豫州刺史谢奕去世，简文帝就让王彪之举荐可以代替谢奕的人。王彪之回答说：“当今贤才，都被有鉴赏力的人选拔完了。”简文帝说：“有人举荐桓云，您以为如何？”王彪之说：“桓云未必无才，但桓温据守长江的上流，占有天下的一半，其弟又去镇守西藩，兵权尽为一门所掌，这绝不是巩固朝廷的办法。人的才能不可预先衡量，只是应当选拔不与殿下作对的人才好。”简文帝说：“您说得对。”
后来朝廷以王彪之为镇军将军、会稽内史，加任散骑常侍。居会稽郡八年，豪强不法之徒纷纷敛迹，逃亡人丁回归的有三万余口。桓温镇守姑孰，威势胁迫天子，四方官员敬畏他，都派遣高级官佐或主簿去进见送礼。王彪之独说：“大司马的确富贵，朝廷既然有宰相，行动止息自应与朝廷宰相禀告谘询。敬重大司马如果派遣主簿，那么向天子朝贡还有什么更高的礼仪呢？”竟不派遣进见之人。桓温以山陰县赋税折合布匹粮米不能按时缴纳，而会稽郡不予弹劾检举为罪状，上表免去王彪之的职务。王彪之离开会稽郡时，将郡里被加罪而未上报州府的犯人，全部赦免释放。桓温又以此为罪状，用囚车将王彪之送去治罪。适逢大赦，免罪，降职为尚书。
不久，王彪之又为尚书仆射。此时桓温准备废除海西公，百官震恐，桓温也情绪激动，众人不知如何举措。王彪之知道桓温想当皇帝的迹象已显明，用说理是阻止不了的，便对桓温说：“桓公主持朝政，应当依照前代的例子行事。”说罢令人取来《霍光传》。礼仪法度，片刻间制定，毫无惧色。桓温叹道：“作辅佐大臣不应如此么！”当时，废立的仪式许久以来未曾使用，朝廷大臣没有人知道从前的法典。王彪之神情果断，身穿朝廷官服，当阶而立，文武礼仪一概由他拟定，朝廷百官因此都佩服他。桓温又决定废除武陵王司马遵，以事由示意王彪之。王彪之说：“武陵王至亲尊贵，没有大罪，不能仅凭猜疑，便加以废黜。桓公扶立天子，远近归顺，应当尊重奖励王室成员，做当代的伊尹、周公。这样的大事，应该慎重思考。”桓温说：“此事已定，你不要再说了。”
及至简文帝驾崩，朝廷百官疑惑不安，不敢立嗣君。有人说，应当请大司马处置。王彪之严肃地说：“天子驾崩，太子继位，大司马岂容变更！若先去请示，肯定反为大司马所责怪。”于是太子继位才议定下来。及至孝武帝即位，太皇太后因孝武帝年幼，加上正处在居丧期间，便命令桓温依周公旧例代理朝政。事情已经施行，王彪之说：“这是异常大事，大司马必定会坚决辞谢，这样做会耽误处理国事，延迟皇陵的修建，不敢奉命。请太后收回成命。”于是桓温摄政一事告吹。
桓温患病，暗示朝廷给他加九锡。袁宏为他起草奏表，拿给王彪之看。王彪之看罢，赞叹其文辞优美，对袁宏说：“足下本是大才之士，怎么能拿这种奏表给人看呢？”当时谢安见表文，又再三让袁宏更改内容，袁宏犹豫不决。屡次拖延日期，便向王彪之请教。王彪之说：“听说桓温的病一天比一天重，也支持不了多久，我们就这样拖下去吧。”袁宏听从了王彪之的指教。桓温不久便病死了。
其时谢安与桓冲共辅朝政，谢安以为新丧辅国大臣，天子年幼不能亲理政务，因而太皇太后应当临朝听政。王彪之说：“先朝前代，天子在母襁褓中，母子一体，因此许可临朝听政。太后也不能决定政事，终究是问愚臣与足下等人而已。如今天子年过十岁，接近举行婚礼和冠礼的年龄，反要让其堂嫂临朝听政，显示天子幼弱，这岂是忠心辅翼扬威立德的做法？二位宰臣一定要这样做，愚臣也不能阻止，所痛惜的乃是国家大局啊。”当时谢安不想把辅佐大权交给桓冲，所以让太后临朝听政，朝政决策皆听于自己。王彪之不明白谢安的用意，因而说了这番话。谢安坚决不依从。
不久王彪之升迁尚书令，与谢安共掌朝政。谢安常说：“朝中大事，众人不能决断的，请教王公无不迎刃而解。”王彪之以年老为由，上疏请求退职，诏令不许。改任护军将军，加散骑常侍。谢安打算重新营造修建宫室，王彪之说：“中兴之初，先帝在江东即位，极为简陋，元帝、明帝也不曾改变建制。苏峻之乱时，成帝止息起坐于兰台，几乎无法避寒暑，因此才修建宫殿。与汉魏相比，确定显得狭小俭约，但还不至于破陋不堪，大体介于豪华与简陋之间，现在只需根据情况增添修补就行了。强寇未灭，正是休兵养士的时候，怎可以大兴土木，搅扰百姓呢！”谢安说：“宫殿不富丽豪华，后世会说今人无能。”王彪之说：“担负天下重任，当以国家大事为重，政治公正清明，岂能以建造屋宇来显示才能呢！”谢安无法改变他的主张。因此在王彪之逝世之前，晋室宫殿始终未加改造。
朝廷加封王彪之为光禄大夫、仪同三司，王彪之不受。病重，孝武帝派黄门侍郎问其病痛，赐钱三十万以求取良医妙药。太元二年(377)，王彪之病逝，终年七十三。朝廷便以光禄大夫作为封赠，谥号为简。王彪之有二子：长子王越之，为抚军参军；次子王临之，官至东陽太守。