张文谦，字仲谦，邢州沙河人。自幼聪敏，记忆力强，与太保刘秉忠同学。世祖即位前为藩王时，封邢州为分地，秉忠向世祖荐举文谦。定宗二年(1247)，世祖召见文谦，命他掌管王府书记，渐渐为世祖所信任。邢州地当要冲，初分二千户以供勋臣衣食，派去管理的人，皆不知如何治理，而是进行百般搜刮，人民承受不了，有人向王府申诉。文谦与秉忠一同去对世祖说：“今民生困苦，以邢州尤其严重。何不择人去治理，责其成效，使各地向民间征取有一定限度和规定，这样，天下百姓都受到恩惠。”于是选近侍脱兀脱、尚书刘肃、侍郎李简一同去治理。三人到邢州后，同心协力，除去弊政，革去贪暴。于是逃亡在外的相继返乡，不到一月，户增十倍。从此，世祖更加重用儒生，让他们参与政务，这都是由文谦向皇帝建议的结果。
宪宗元年(1251)，文谦与秉忠把当前首先要办的事陈奏于世祖，都予实行。世祖征大理，国王高祥抗拒不服，杀朝廷派去的使臣而逃跑了。世祖大怒，要大肆屠杀大理城的居民。文谦与秉忠、姚枢极力谏阻道“：杀使臣抗拒朝廷之命的是高祥，百姓无罪，请宽大。”大理百姓因此保住性命。宪宗九年，世祖率师伐宋，文谦与秉忠对世祖说：“王者之师，有征讨但无战争，对南方臣民当一视同仁，不可滥杀。”世祖道：“希望与卿等共同遵守。”入宋境后命诸将不准妄杀和烧毁房屋，所获人口一律释放。
中统元年(1260)，世祖即位，设立中书省，首命王文统为平章政事，文谦为左丞。建立纲纪，讲明利弊，以安国便民为宗旨。诏令一出，天下有太平之望。而文统素好忌恨别人，在商议政务时，每每与文谦相互可否，意见不一，怀怨于心，因此文谦请求出京任职。诏令他以中书左丞之职行大名等路宣抚司事。临行，对文统说“：民困苦已久，况又逢大旱，若不减税赋，何以满足百姓得以休养生息之希望？”文统说：“皇帝新即位，国家经费只是仰给于税赋，如果再行减免，国家所需如何供给？”文谦说：“百姓足，君怎么会不足！等到风调雨顺的丰收之年，再行征收也不晚。”于是减常赋的十分之四，商酒税减十分之二。
中统二年春，回到朝廷，留在政府工作。朝廷始设左右部，推行各项政治措施，事无大小都办得很好，其中文谦尽了很大力量。三年，阿合马领左右部，总管国家财政，凡事只由他奏请皇帝，不必禀告中书省。朝廷诏大臣们讨论此事，文谦说“：分管财政，古代有这种制度，但说中书不干预其事，是没有道理的。若中书不问，天子将亲自来处理吗？”世祖认为“仲谦说的是”。
至元元年(1264)，诏令文谦以中书左丞之职巡察西夏中兴等路。羌族习俗素来与中原不同，办事无纲无纪，文谦从被俘人口中得蜀士五六人，让他们出来熟悉政事，一月之内，公文有格式，子弟也知读书，习俗为之一变。又疏导唐来、汉延二渠，灌田十数万顷，百姓得其利。
至元三年回朝，诸势家提出把数千户强迫为私家奴婢。此事久议不决。文谦认为，当以太宗七年(1235)为断，奴婢没有在官府户籍册上登记的，可归属于势家，其余良民无强迫为奴隶之理。议定之后，作为法律共同遵守。五年，淄州妖人胡王惑众，官府为此逮捕了百余人。丞相安童转奏文谦之言：“愚民无知，故被妖人欺骗引诱，杀其首恶就可以了。”朝廷命文谦去处理此案，文谦只处决三人，其余释放。
至元七年，拜文谦为大司农卿。文谦奏请设立各道劝农司，巡行劝农，开垦荒田，举行祭先农、先蚕等礼。又与窦默一同奏请设立国子学。朝廷诏命许衡为国子祭酒，挑选贵族子弟进行教育。当时，阿合马计划收民间之铁，由官铸造农具，以高价配售与民；创立行户部于东平、大名，印制钞票；所遣诸路转运司干政害民。文谦都将这些弊政在皇帝面前予以弹劾，请求废除。十三年，升御史中丞。阿合马怕台谏官揭发其奸诈，奏请废除了各道按察司。文谦却奏请恢复，但他自知为奸臣所忌恨，力请辞去御史中丞之职。当时世祖正因《大明历》成书年代已久，有差错，命许衡等制定新历法，于是授文谦为昭文馆大学士，领太史院以总管修新历之事。十九年，拜枢密副使。一年多病卒，享年六十七岁。
文谦早随刘秉忠研究占卜相命之术；晚年结交许衡，尤精于义理之学。为人刚直明快，凡所陈奏于皇帝者，无不是尧、舜仁义之道。多次违背权臣的意图，但把因此而蒙受的是非得失，全不放在心上。家中只有藏书数万卷。他尤以引荐人材为己任，时论更加肯定他。累赠推诚同德佐运功臣、太师、开府仪同三司、上柱国，追封魏国公，谥忠宣。