许谦字益之，祖籍京兆。他的九世祖许延寿是宋朝刑部尚书。以后各代都任官。后由平江迁至婺州路之金华，到谦时已是五代为金华人了。
谦几岁时，父亲早逝，刚能说话，伯母陶氏口授《孝经》《论语》，他的记忆力很强。稍大一点，对学习极为努力，自己规定内容进行学习，取四部书，分昼夜阅读，即使有病也不停止。在金履祥的门下求学，履祥教育他说：“你们求学就像五味调合，加了醋酱后，味道立即不同。你来见我已三天，像个女子，羞于言辞，难道我的教学没能激发你吗？”谦听后非常敬畏他。几年后终于领会了老师授课中的奥妙。他无书不读，即使微小的问题也不放过，哪怕不完整的文章或只字片语，从不忽视。遇到不通之处，从不妄作解释；对先儒的话，自己不甘听从的，决不随便同意。他读完《四书章句集注》，写《丛说》二十卷，其中说：“学习要以圣人作为标准，先学他们的思想，再学他们做的事。圣贤的思想都在《四书》里，其要义全在朱子注释中。但他的辞简而意义深广，读的人怎么可能不学其思想就理解其真义呢？”他读《诗集传》便写《名物钞》八卷，为它正音解释，进行考证，以补先儒书中不完备之处，但仍保存其原意，通过旁征博引，以自己的见解作结论。读《书集传》，著《丛说》六卷。读历史著《治忽几微》。他采用编年体，著史书，上起太..氏，下止宋元..元年(1086)九月司马光卒，说明历代兴亡的原因。
他还著有《自省篇》，白天做的事，夜晚一定写下来，不能写的一定不做。对天文、地理、典章、食货、刑法、字学、音韵、医经、术数等学说，无不通晓。对有关释家、老子学说，也要探其奥秘。他曾说“：读书人谁不说要排除异端，但能探其奥妙，辨别异同是非的人又有几个呢？”又给《九经》、《仪礼》、《春秋三传》断句，对竹简顺序颠倒或抄写的错误，分别用铅黄和朱红划上，以示区分。以后吴师道买到吕祖谦点校的《仪礼》，与许谦校订的比较，不同之处仅有十三条。谦不喜欢显露才华，除非有益经义，张扬道德和事理的，都不轻易动笔。
延..初(1314)，住东阳八华山，众多学生向他求教，不久便开门讲学，学生不远千里而来。他教学生是诚心诚意，细致耐心，倾其所知，并以此为乐，孜孜不倦。在门下受教的学生千余人，他按各人的情况分别教授，使每人都有所得，但他从不用应科举的文章为教材。谦孝顺父母，尊敬兄长，为人处事不拘泥于古人，不流于世俗。在家乡四十年，各处人士都以不访他为耻。路过其乡的士绅都要去他家问安。有人向他求教，听过讲解的人，深为佩服。
大德中遭重灾。他说“：现在国家公私缺粮，饿死的人到处可见，我怎能只顾自己吃饱？”中州有名望的人廉访使刘庭直、副使赵宏伟对谦都深为佩服，要向朝廷推荐。到晚年身负教学重任，远近的学生以他的身安否作为道的盛衰。至元三年(1337)卒，享年六十八岁。朝廷谥号文懿。
先是何基、王柏及金履祥卒，他们的学问还没有发扬光大，至谦时他的思想更加突出，学生追本穷源，认为是朱熹的嫡传。江浙行中书省替他向朝廷奏请求建“四贤书院”，来奉祭祀，并排在学官之列。