朱谦，夏邑人。永乐初年，他承袭父职，为中都留守左卫指挥佥事。洪熙时，朱谦隶属阳武侯薛禄，北征有功，进升为指挥使。宣德元年(1426)，进升为万全都指挥佥事。
正统六年(1441)，朱谦与参将王真巡哨至伯颜山，遭遇敌寇，将其击走。驻扎闵安山时，遇上兀良哈的三百骑兵，又将其击败之。追至莽来泉，敌寇越过山涧逃走了，朱谦这才率军返回。当时朱谦已升为都指挥同知，于是被任命为都指挥使。
八年(1443)，朱谦充任右参将，守备万全左卫。第二年，他与杨洪在克列苏打败兀良哈的军队，进升为都督佥事。朱谦的部属揭发他的违法事，皇上因为正需要防守的将领，便宽恕了他。朱谦又因北征有功，升为都督同知。
皇上北巡，也先拥着英宗来到宣府城下，下令开门。朱谦与参将纪广、都御史罗亨信不予回答，也先于是离去。朱谦升为右都督。他与杨洪入卫京城，恰逢敌寇兵退，朱谦率军在近畿追击。战斗失利，杨洪弹劾他，而兵部一起弹劾杨洪不去援救。景帝对他俩都不追究。杨洪入京统领京营后，廷臣商议要找一位代替杨洪原职的人，大家一致推举朱谦。朱谦于是进升为左都督，充任总兵官，镇守宣府。景泰元年(1450)四月，敌军三百名骑兵从石烽口进入，又由原路离去，皇上降旨切责朱谦。一个月后，敌寇再次入侵。朱谦率兵抵御，驻扎关子口。敌寇数千骑兵突至，朱谦以鹿角阻止敌军前进，又发火器攻击，敌寇稍微后退，就这样重复了四次。朱谦军将退时，敌寇又来追击。都督江福来援，也失利，朱谦最后拼力奋战，敌寇才未能进入。六月，又有二千敌骑南侵。朱谦命都指挥朱玺等前往抵御，战于南坡。朱谦见灰尘四起，便率参将纪广等迅速赴援。从上午九时一直到中午十二时，敌寇才战败而逃。论功时，朱谦被封为抚宁伯。这时，敌寇气势十分嚣张，屡次骚乱宣府、大同，希望很快攻下二城。但朱谦防守宣府，郭登防守大同，屡挫敌军。也先才知二人难犯，这才一意送回英宗。八月，英宗返回，途经宣府，朱谦率其子朱永出城拜见，重赏其使者。不久，朱谦误报有五千敌寇骑兵毁墙而入。结果仔细一看，原来是也先派来的进贡使者。皇上下诏切责他，朱谦惶恐谢罪。第二年二月，朱谦死于宣府。被赠为侯，由其子朱永承袭。
朱谦守边已久，善于作战。但他勇而无谋，所以他的名声不如杨洪、石亨、郭登。成化年间，赠谥号武襄。