吴兢是汴州浚仪县人。从小很有抱负，同时精通经学和史学，他的正直很少人比得上。他只和魏元忠、朱敬则交朋友，这两人当了宰相，推荐吴兢的才华能写国史，诏命在史馆任职，写国史。后升任右拾遗内供奉。
神龙年间，调任右补阙。节闵太子之乱，奸臣诬陷安国相王参与了阴谋，朝廷大惊。吴兢上奏说：“文明年以来，帝业一脉相承。皇上复位，加恩于亲人，皇上和相王是兄弟，骨肉情深。现奸臣日夜谋划，定要把他杀死。相王仁慈孝顺，遭受苦难悲伤，和皇上相依为命，认为自己和皇上情同手足。如相信奸臣，把他杀死，会有损皇上的仁德，使天下人失望。杀死骨肉，一意孤行，让人寒心。历来杀死骨肉，任用不同姓的人，没有不灭亡的。秦朝任用赵高，汉朝任用王莽，晋朝自杀骨肉，隋朝猜疑儿子和弟弟，都天下大乱，前车已倾覆，怎能还走它的老路？何况树根朽烂树叶就会干枯，河源枯竭河水就会断流。儿子兄弟就是国家的树根和河源，怎能杀死他们呢？现皇家子孙，死得差不多了。皇上登基四年来，一个儿子起兵被杀，一个儿子因罪贬到远方，只有相王早晚陪伴。‘一斗粟尚可舂，兄弟二人不相容’的歌谣‘，苍蝇间黑白，谗巧令亲疏’的诗篇，不能不引人深思。希望皇上能保全兄弟情谊，安慰被谗言诬陷的弟弟，这是国家的万幸！”
他多次升官后任起居郎，和刘子玄、徐坚等人同职。唐玄宗刚即位，收回了权力，对事务敢于决断，百官畏惧佩服。
吴兢怕皇帝果断但不细致，就上奏说：“自古以来臣子不劝谏国家就危险，但劝谏自己又危险。我领皇上给的俸禄，不敢躲避自己的危险。现看见上奏的人，说得可取，只赏绸缎罢了，没有受接见、被提拔；说得不合心意，就在朝廷上受杖刑，贬职回乡、或者死在流放处。
因此臣子不敢劝谏。古代君主设有诽谤木，想知道自己的过失。现在的上奏就是古代的诽谤木。如果他说得对，当然对国家有利；即使他说得不对，也对国家无害。皇上为什么要立即予以处罚流放，来堵住直言劝谏呢？舆论相传，都认为奇怪，汉高祖赦免了周昌说他是夏桀、商纣王的指责，晋武帝接受了刘毅说他是汉代恒、灵帝的批评，何况皇上的胸怀宽广，难道不能容纳这些狂放和耿直的话吗？皇上处于至尊无上的地位，掌握了臣下生死的权力，这威严够可怕了。
敞开胸怀，听取劝谏，臣子还害怕不敢全说，为什么还治他们的罪呢？皇上如有过失，臣民一定能知道。所以郑国想毁掉乡校，子产不答应。皇上刚即位，还有褚无量、张廷王圭、韩思复、辛替否、柳泽、袁楚客等人多次上奏争论朝政利弊。自从近来呈上奏章的人，常常被治罪，劝谏的人立刻减少了。这与喜鹊窝被弄翻凤凰就不来了，道理是一样的。我确实害怕全国正直的人都不敢直言，迎合邪恶，只求活命，不再能保全节操不顾性命，使皇上不能行正道了。
“皇帝的美德，没有比接受劝谏更重要的，所以前人说：‘木材经过墨线测量加工后就是直材，皇帝听从劝谏就是圣王。’又说‘：朝廷里有劝谏，就好比头发有梳子，山林中有猛虎，就没人敢采野菜。’忠直劝谏的益处就像这里所说的。
自古以来好的君主，只担心不能听说自己的过失，所以尧设有谏鼓，禹听直言下拜。不好的君主，自认为英明，拒绝劝谏残害忠臣，夏桀杀死关龙逢因而被商汤王灭亡，商纣王杀死了王子比干因而被周朝消灭，这都是证明。用古代治国的好办法治国没有治理不好的。用古代亡国之君的办法治国没有不灭亡的。人要害病了，一定会先不想吃鱼和肉；国家将要灭亡，必定先不认为忠言直谏好。啊，古人都很重视这呀！隋炀帝骄傲自大，认为尧、舜赶不上自己，忌讳劝谏，就说：‘有劝谏我的，当场不杀，以后也一定要杀死他。’重臣苏威想劝谏，不敢开口，在五月初五献上了《古文尚书》，隋炀帝说是讥讽自己，立刻将他免职。萧蠫劝不要征辽，被贬出京城任河池郡太守。董纯劝不要去江都，被关到狱中杀死了。
从此正直的臣子，都离开了朝廷，朝外虽然出了事，朝中大臣都不敢说，隋炀帝就不知道。后自己被人杀死，子孙都灭绝了，被天下人嘲笑。太宗皇帝喜欢劝谏，当时有魏征、王王圭、虞世南、李大亮、岑文本、刘洎、冯周、褚遂良、杜正伦、高季辅，都因直言，被任命为重臣。他曾对宰相说‘：认识自己是难事，就像作家巧匠，认为自己不错，如让更高明的人来评论，那么短处都看出来了。国家事务繁多，一个人了解判断，虽然很尽心尽力，也不能都做好。现魏征随时劝谏，多数说中了我的过失，就像镜子照脸，好坏都看出来了。’在那时候，有对朝政有益处的上奏，他都贴到卧室的墙上，坐着躺着都看，即使是错误和不合心意的，也不认为忤逆。
因此朝外的事情都能知道，刑罚几乎不用了，礼义盛行全国。皇上为什么不遵从这办法，在圣明祖先之后再建盛世呢？
凭一个人的智慧，总管全国的政务，情况难以全部了解，考虑不能非常周全，皇上的用意不能被臣子全理解，下面的情况可能没反映上来。只有虚心纳谏，多看多听，让不外露的人不隐瞒、远处的人不觉得说话困难，这就是人们说的‘打开四边的门、睁开四边的眼睛’。对那些敢于直说，用正道劝谏，不怕被处死的臣下，应特别给予恩宠荣耀，破格提拔，那么即使以前有过失，今后也能弥补了。”
不久他因给母亲守丧离职。守丧期满，自称写史书有了头绪，家穷不能供应纸和笔，请求给一点俸禄来完成剩余的工作。皇帝下诏封为谏议大夫，又写国史。唐睿宗去世了，皇帝实录留在洛阳，有诏命吴兢乘驿车取回放进灵柩中去。
他又因父亲去世离职，宰相张说任命赵冬曦取代他。守丧期满，任太子左庶子。
开元十三年(725)，皇帝东行去泰山封禅，路上多次打猎取乐。吴兢进谏说：“将登泰山感谢天地的保佑，不应追猎野兽，怕出危险。”皇帝听从了。第二年六月，起了大风，有诏要百官论吉凶所在，吴兢上奏说“：从春天以来，久旱不下雨，到六月十二日，大风拔起树木，毁坏住户房屋。传中说：‘不用敬德，有旱灾。君臣隔绝，庶子超越本分，阴侵入到阳里，那么就有旱灾发生。’又说‘：国政不当仁德不显，大风就毁屋拔树。’风是阴类，是大臣的象征。恐怕皇上亲信有奸臣专权，有算计皇上的阴谋。我听说很多君主的过失，都由于权力交给了臣下，因此人们说‘：帝王把权力给别人，就像倒拿太阿剑，把剑柄给了别人。’上天降下灾害，是想使皇上醒悟，希望深入考察天气的变化，杜绝引起这变化的问题的发展。
皇上在武则天皇后、中宗皇帝动乱之后执政，仓库不充实，不必要的官还很多，住户人口流失，政令不一致，贿赂风行，钻营者更多了。这些弊政没改变，是皇上执政的缺陷，我为此非常担忧。希望贬谪奸臣，不出去游玩，将多余的宫女放出皇宫，削减不急用的马匹，选贤举能，慎用刑罚，不用谗佞者，而用正直臣，即使有天旱刮风的变化，也不会成为圣明仁德的忧虑。”
当初，吴兢在长安、景龙年间任史官，当时武三思、张易之等人主管修史，史官多阿谀权贵讨好佞臣，编造吹捧，记事多不真实。吴兢不满意，私下撰写《唐书》、《唐春秋》，没写完。到这时，求官职领俸禄买纸笔，想能把书写成。有诏命吴兢等到史馆里去写。升任长垣县男爵。一段时间以后，因被判记事不恰当，贬任荆州司马，他将史书草稿带着赴任。
萧嵩主管编史书后，上奏派使者到吴兢那里去拿书槁，得到了六十多篇。
多次升官后任洪州刺史，因受牵连贬为舒州刺史。天宝初年，进京任恒王傅。虽然年老体衰背驼得厉害，心里还想再任史官。李林甫嫌他衰老，不任用他。后去世了，享年八十岁。
吴兢记事简要详备，被称为良史。
晚年略有简略和错误，当时人认为过简。
他最初和刘子玄编撰《武后实录》，记张昌宗引诱张说为魏元忠事作伪证，写道“张说已同意了，靠宋瞡等人拦着苦劝，才改变主意进忠言，不这样，皇族就危险了”。后来张说任宰相，看了这话，心里不高兴，知道是吴兢写的，就乘便假装对他说“：刘子玄记魏齐公的事，一点不顾我的面子，怎么办呢？”吴兢说：“刘子玄已去世了，不能在土里受冤枉。那是我写的，草稿还在。”听说的人都赞叹他的耿直。张说多次凭感情请求他改写，他推辞说：“照顾您的私情那叫什么实录呢？”终于没改。当时人称他为当代的董狐。