齐履谦字伯恒。父名齐义，精于算术。履谦六岁随父亲至京师，七岁读书，有过目不忘之才，十一岁父亲教他推算星历，十三岁从师，崇拜圣贤之学，非洙、泗、伊、洛之书不读。
至元十六年(1279)，朝廷初设太史局，改制新历，履谦为星历生。同辈者都是司天台官之子，太史王恂问他们算术题，都不能对，只有履谦对答如流，深得王恂器重。新历制成后，履谦又参加修纂《历经》、《历议》。至元二十九年被授予星历教授。都城计时器刻漏，原为木制品，其形如碑，故名“碑漏”。该“碑漏”年久失修，计时不准。大德元年(1297)，中书省命履谦检查，工匠在履谦指导下进行改做，能准确报时，又奏请重建鼓楼，增添更鼓和守漏士卒。
大德二年，履谦调任保章正，从此才专管历法之事。三年八月初一日，按历法推算，这天巳时应有日蚀。但并无日蚀出现，众人皆惧怕，履谦从容地对大家说“：当蚀不蚀，古代也有过，何况已近午时，阳盛阴弱，应该是当蚀不蚀。”他考证自唐开元以来日蚀之当蚀而不蚀者有十次。六年六月初一，按历法推算，这天戌时应有日蚀五十七秒。但其他星历官不敢上报，履谦说：“我们所掌握的是一般规律，届时日蚀是否出现，那是由上天来决定。”他独自把将发生日蚀的事上报，届时果然有日蚀出现。
七年八月二十三日夜，发生大地震，成宗下诏垂问震灾发生的原因及消灾的办法。履谦根据《春秋》的道理说道“：地为阴而主静，妻道、臣道、子道都属阴，三者失其道，所以大地不得安宁。消灾的办法是，大臣们做自我谴责，革去其专横的淫威，向上天表示改过自新，只是祈祷是无济于事的。”当时成宗正在病中，宰臣中有人作威作福，履谦借此机会向皇帝进谏。大德九年，始在南郊设坛以祭祀天地，履谦兼为司天台官。按旧制，司天虽掌握时刻，因无钟鼓报时器，祭祀往往在清晨举行。履谦对丞相等执政官员们说，请用钟鼓报时，使早晚各有节度。朝廷听取了这个建议。
至大三年(1310)履谦升为授时郎秋官正，兼管冬官正事。至大四年，仁宗即位，崇尚儒术。台臣向仁宗荐举齐履谦，说他品学兼优，可教国学子弟。于是任命履谦为国子监丞，后改授奉直大夫、国子司业，与吴澄同时执教。二人均受到人们的称赞。他们每日清晨五更入学，无论风雨寒暑，从不懈怠，教育有方，诸生无不畏服。不久，再度任命履谦为佥太史院事。
自履谦离开国学后，吴澄也因病去职，国学的学业略有松懈。延..元年(1314)，仍以履谦为国子司业。履谦对自己要求更严，其教养之法进一步发展，每斋置伴读一人为一斋之长，虽助教缺人，而对诸生的讲授从未中止。朝廷原规定国子生每年荐举六人为官，以入学先后为序。履谦认为不妥，“不考其学业，何以能选拔优秀人材”。他参照旧制，确立升级、积分等法，即：每季考察学生的学业、品行，按照成绩之优劣顺次升级；升入上斋后，必再经两年才进行考试。第一、二个月考试经疑、经义；第三个月考古赋、诏诰、章表策，蒙古、色目人考明经、策问。考试成绩如辞章和理论俱优者为一分，辞章一般而理论优等者为半分，年终积至八分者为高等生，从中选派四十人，然后由集贤院、礼部共同评定其学业，及格者六人，作为每年荐举的人才。如果学了三年还不通一经者，开除出国子学。仁宗采纳这些建议。从此以后，国子生人人努力学习，出了些文学之士。延..五年，调任滨州知州，因母亲去世而未去赴任。
至治元年(1321)，拜太史院使。泰定二年(1325)九月，以太史院使衔奉诏宣抚江西、福建，罢黜贪官污吏四百余人，免除加征粮数万石，全数放归各州县强令服劳役的先贤子孙。福建地方官吏的职田，每年每亩征米三石，人民不堪负担，履谦命减数征收，因而招人怨恨。还京后，这些地方官吏果然借故诬告履谦，但不久这些诬告者被惩处，履谦得到昭雪，恢复其太史院使之职，几年后，于天历二年(1329)逝世。
履谦自幼勤学苦读，但家贫无书。做星历生时，秘书监将宋朝留下来的书存放于太史院，履谦得以昼夜学习研究，故学识渊博，自六经、诸史、天文、地理、礼乐、律历，以致阴阳五行、医药、卜筮，无不融会贯通，尤其精通经籍。其著作有《大学四传小注》一卷、《中庸章句续解》一卷、《论语言仁通旨》二卷、《书传详说》一卷、《易系辞旨略》二卷、《易本说》一卷、《春秋诸国统记》六卷、《经世书入式》一卷、《外篇微旨》一卷。《授时历》应用了五十年，未曾做进一步检验、研究，履谦每天观测日影和早晚五星宿度，经过校正，将至治三年冬至和泰定二年夏至的时间，各减二刻，并著《二至晷景考》二卷及《经串演撰八法》一卷。
他还计划根据乐理来改正元朝郊祭天地、庙祀祖宗的音乐，可惜这一愿望未能实现。履谦去世后，朝廷于至顺三年(1332)五月，赠翰林学士、资善大夫、上护军，追封为汝南郡公，谥“文懿”。