温彦博字大临，通习书籍杂记，性警悟而有辩才。开皇末年，对策为高第，授职为文林郎，轮值于内史省。隋末大乱，幽州总管罗艺引用为司马。罗艺举州归降，彦博参与其谋议，授职总管府长史，封为西河郡公。不久征召入京任职为中书舍人，随即升任中书侍郎。高丽使进贡该国物产，高祖想谦让而不使其国臣服，彦博执意不从，并说“：高丽本是周代箕子的封国，汉代为玄菟郡，不使北面称臣，那么四夷将如何观瞻天颜？”高祖接受这个意见而不与其使抗礼相见。
突厥率兵进犯，彦博以并州道行军长史身份与虏寇战于太谷，王师战败，彦博被擒。突厥闻知他是唐帝近臣，多次讯问唐兵多少及国家虚实情况，彦博不愿告诉他们，被他们囚禁于阴山苦寒之地。太宗即位后，突厥遣使交好，彦博得以返回。授职雍州治中，不久迁任检校吏部侍郎。彦博淘汰选任士人，因缺乏方法不能服众，争讼盈庭，时人讥讽他为政烦琐。后来重任中书侍郎，迁任御史大夫，检校中书侍郎事。贞观四年(630)，升任中书令，封为虞国公。突厥归降后，下诏商议安定边防的办法。彦博奏请像汉代安置归降匈奴族人于五原塞那样，用他们守边作为国家的屏障，与魏征当廷争辩，魏征争辩不胜，天子最终接受了彦博的提议。其后突利可汗之弟结社率谋反作乱，太宗才感到后悔。
彦博善于辞令，每逢问及四方风俗，宣布诰命，就像事先会背诵一样；进止雍容不迫，人们都拭目以观。高祖曾宴飨近臣，派遣秦王宣谕旨意，过后回顾左右说：“比起温彦博来如何？”贞观十年(636)，迁任尚书右仆射，第二年去世，时年六十三岁。
彦博性情周密谨慎，既已掌管国家机务，便谢绝宾客不与往来，进见皇上必定陈说政事利害。去世之后，太宗感叹地说“：彦博因忧国的缘故，耗尽心力，我见其精神不济已有两年，恨不让他稍有空闲以延其寿。”其家贫乏而无正寝，故停殡于别室，太宗下令有关官员为他营造正堂。赠予特进，谥号为恭，陪葬于昭陵。
其子有温振、温挺。温振历任太子舍人，居丧时因哀毁去世。温挺娶千金公主为妻，任官至延州刺史。
彦博曾孙温曦，娶凉国长公主为妻。