彦谦早年就成为孤儿，不认识自己的父亲，被母亲的兄长收养。哥哥彦询颇有鉴别能力，认为彦谦天性聪明颖悟，每每对他感到惊奇，便亲自教他读书。七岁时，他已能背诵数万字的书籍，宗亲们都感到很惊异。十五岁那年，过继给叔父房子贞，侍奉继父继母像亲生父母一样。子贞怜爱他，对他抚养十分优厚。继母去世，他五天不吃不喝。对待伯父房豹，也尽心尽力。四季的时鲜果品，伯父没有吃，自己就不敢先尝。遇到丧葬，他必定蔬食素餐，恪守礼节，宗族们都效法他。以后受教于博士尹琳，手不释卷，贯通了《五经》。讲解和写作，颇有口才和文才，风度超过常人。
十八岁那年，齐广宁王高孝珩为齐州刺史，征用他为主簿。当时，纲纪松弛，州郡的官员大多放纵自为。彦谦到任后，清静简洁，执行法度，州境之内，上下肃然，官吏百姓无不敬畏。北周的军队进入邺城，北齐君主向东逃跑，任彦谦为齐州中从事。彦谦痛惜本朝灭亡，准备召集忠义之士，暗中密谋恢复旧业，事情没有成功而停止。北齐灭亡，彦谦回到家里。周武帝宇文邕派柱国辛遵任齐州刺史，辛遵被盗贼首领辅带剑捉获。彦谦写信劝谕辅带剑，带剑畏惧惭愧，将辛遵送回齐州，各路盗贼都归顺自首。隋文帝称帝之后，房彦谦在乡里悠闲自得，发誓再也不愿做官。开皇七年(588)，刺史韦艺坚持举荐他，不得已他才答应。吏部尚书卢恺一见面就很看重他，破格授予他承奉郎，不久调任监察御史。后来南陈被平定，他奉命安抚泉州、括州等十州。因完成使命颇受文帝称许，赏赐给他布帛一百匹，米一百石，衣服一套，奴婢七人。
又迁任秦州总管录事参军。朝臣上朝时，左仆射高赹决定考核官吏们的政绩。房彦谦对高赹说“；《书经》上说三年对官吏考核一次，以提拔优异的，黜退庸劣者。唐尧、虞舜以后各代都有自己的法度，降免和提拔都能合理，表扬和批评都不缺少。于是，提拔一定能得到贤能的人，罢免的都是无才无德的小人。如果执行谬误，法规就等于虚设。看看各州的考核，执行的情况各不相同，进用和汰减的多少，数目都不一样。更何况长官对下级或爱或憎，任意凭感情用事，使得那些乖巧刁钻的人仕途却很平坦；清廉正派，孤傲耿直的，未必能够高升；卑膝献媚，刁钻取巧者，反而居于上等。真假混淆，是非颠倒。达官显要如不严格挑选，认真取舍，那些被他们提拔任命的下级官吏，就会多数是靠蒙混投机获得成功的；没有经过政府批准的，都不知道自己不被选拔的原因。另外，天下四方距离遥远，很难做到详细考核，惟有弄清人数，一半黜退，一半保留，只计算官员数量的多少，不要管他好坏的多少。想求得公允恰当，实在没有办法。您洞察幽微，公平待物，现在所考核的，一定没有受冤枉的。假如出现了前面说的那几件事，不知道您怎么处理？只希望您广泛地布置耳目，认真了解下面官吏的情况，表扬他们细小的成绩，批评他们轻微的过失，不但是非曲直分明，大道得行，而且也足能够奖励贤能清俊之士。”说时语气慷慨，引起旁观者的注目。高赹也为之动容，长长感叹赞赏。因而询问他河西、陇右一带官员的清形，彦谦声音洪亮，对答如流。高赹对各州总管、刺史说“：与你们谈话，不如单独同房彦谦谈话。”以后数日，高赹将彦谦的意见告诉给文帝，文帝竟没有采纳。
因在秦州任职期满，他调任为长葛县令。很有惠政，百姓都称他为慈父。仁寿年间，文帝命使臣持节巡行各州县察看官吏能力的大小，认为彦谦为天下第一，提拔他为都州司马。长葛县的官吏百姓号啕大哭，互相诉说：“房明府现在离去，我们还活个什么！”以后百姓们思念他，立碑歌颂他的功德。都州长久没有刺史，州中政务都归房彦谦管理，也同样政绩卓异。内史侍郎薛道衡为一代文宗，名望清雅显著，交结的都是海内名人贤士。他十分看重房彦廉的为人，对彦谦极为友爱和敬重。道衡任襄州总管，与彦谦书信往来不断，双方的信使常常在路途上交错而过。炀帝继位，道衡又转任番州，途径彦谦的住所，留连多日，最后洒泪而别。
黄门侍郎张衡也与房彦谦相友善。当时，炀帝正大肆营建东都洛阳，宫殿都极其华丽，令天下人大失所望。再则，汉王杨谅反叛，被牵连获罪的人很多。彦谦见张衡当政而又不能匡救时弊，便写信告诫他，说：
“我听说奖赏可以劝善，处罚可以惩恶。所以就是对于那些地位卑贱的人，有了善事也一定给予奖赏；对于地位高，有才能的人，有了过错也一定要惩罚。不应该惩罚避开自己的亲友，奖赏遗漏了卑贱的人。现在，国家恰好承受美好的命运，天子有如百姓的父母，赏罚奖惩，是非曲直，上天都可以知道，就是处在很远的地方，皇天也能够照临，所以，应该谨慎严肃。
“至于并州的谋反事件，须要查清辨明。如果杨谅确实因为皇帝的诏命没有传达到他那里，他考虑到国家面临危难，调集兵力，聚众起事，并不算违犯朝廷法纪，则应当体谅他的本意，再讨论对他的处罚。这样，上可以符合圣上兄弟友爱的心意，下可以解除百姓们疑惑的念头。
“圣人认为最珍贵的东西，就是皇帝的宝座。如果上天不送给你，谁都不能轻意得到。所以像蚩尤、项籍那样骁勇善战，伊尹、霍光那样有权有势，老子、孔子那样才智绝伦，吕望、孙武那样深谙兵术，吴、楚连结，有着磐石般的屏障，都没有能够取得帝位。更何况小小的一隅，有如蜜蜂翅膀的扇动，蚂蚁的聚集，杨谅的愚笨，群小们的凶恶，想进犯京城辅地，真是妄想啊！
“自开天辟地以来，都有文字记载。帝王的言语行迹，后人可以详细知晓。如果不积累道德和仁爱之心，为国家建丰功，为百姓谋厚利，谁能够使自己的威望让天人共知，精神感动神灵？所以，古代圣哲的帝王，黎明即起，操劳国事，兢兢业业，如履冰上，如怀抱朽烂，小心谨慎。乱世的帝王骄奢荒淫，无所畏惧，凌驾于万民之上，肆意放纵私欲，史书不可一一记载。
“您置身朝廷，天子以大权相托，早已把你看成心腹重臣。你既然身处政治清明之世，应当心存正直，为当世立下重要的诫律，以作为后世的宪典。怎么能允许曲意顺从天子，把仁爱之心变成刑罚之举！”
张衡收到房彦谦的书信，感动得长长地叹息，又不敢奏给炀帝知道。
彦谦知道朝廷纲纪败坏，便辞去官职，隐居林下。准备在蒙山下建屋结庐，以遂退隐的志愿。恰逢朝廷设置司隶官，选取天下知名人士。朝廷认为他公正端方，声誉显著，众望所归，因此，任命他为司隶刺史。他也慨然有澄清天下的志向，凡是他向朝廷举荐的，都是人伦表率。如有弹劾，被纠察的人也毫无怨言。司隶别驾刘火乇欺上辱下，任意攻击别人，却自以为正直。刺史们都害怕他，见了他都恭恭敬敬下拜。惟有房彦谦对他不卑不亢，见面一揖而已。有见识的人都称赞他，刘火乇也不恼恨他。
大业九年(613)，彦谦跟随炀帝到辽东，负责监察扶余道的军事。后来，隋朝政治逐渐混乱，朝臣们大多改变节操。彦谦坚守正道，有如平常，颇为执政的权要嫉恨，将他调出京城，任泾阳县县令，死在任上。
彦谦在家乡居住时，子侄们来问安，他常给他们讲解处世的道理，督促勉励他们一番。态度恳切勤勉，不知疲倦。家中有祖上留下的旧业，资产素来殷厚，加上他前后做官所得的俸禄，都用来接济亲戚朋友，所以家中没有多余的钱财。他乘坐的车马，穿戴的衣服，使用的家具，都务必简朴省俭。从少年到成年，一言一行，从不涉及私人的事情。虽然屡次导致钱囊羞涩，却怡然自得。曾从容独自发笑，对他的儿子房玄龄说：“别人都因俸禄致富，我却独因做官而贫困。所留给子孙的，只有清白啊！”他所写的文章，气派宏大，风格闲雅，有古人的深意。又擅长写隶字，人们如果能得到他的书信，都珍藏展玩。太原的王劭、北海的高构、..县的李纲、中山的郎茂、郎颖、河东的柳..、薛孺，都是一时著名的高雅清俊人物，彦谦都与他们结交为友。他家里虽然高朋云集，冠盖相望，而却没有一个行为卑下的客人。他举止文雅，十分通达政务，有见识的人都用行为远大赞许他。
当初，隋文帝平定南陈之后，天下归为一统，论者都说天下将要太平。彦谦却私下里对他所亲近的赵郡人李少通说“：皇上性情疑忌峻刻，不采纳别人的建议。太子懦弱平庸，诸王在各地擅作威福。朝廷只实行苛刻严酷的政治，没有表现出恢宏远大的气魄。天下虽然安定，我却忧虑动乱就要到来。”李少通听了不以为然。等到仁寿和大业之际，他的话果然都被验证。