高俭字士廉，以字显于世，他是北齐清河王高岳之孙。其父高励为乐安王，入隋后任职为洮州刺史。士廉敏慧而有度量，状貌就像画出的一样，书读一遍就能背诵，应对灵敏。隋司隶大夫薛道衡、起居舍人崔祖浚都是显贵旧臣，与士廉结为忘年之友，由此士廉知名。自以为本是北齐宗室之后，不想广交师友，隐居于终南山下。吏部侍郎高孝基劝他出来做官，便在仁寿年间，应举于文才甲科，补任治礼郎。斛斯政投奔高丽，士廉坐与他相友，被贬为朱鸢县主簿，因母亲年老不能居于瘴疠之地，便留其妻鲜于氏奉养而行。恰逢天下大乱，京师音讯阻绝，交趾太守丘和署为司法书佐。当时钦州俚帅宁长真率兵进犯交趾，丘和恐惧，打算出迎，士廉说：“长真兵众虽多，但孤军远来，其势不能持久，城中兵士还能作战，为何受制于人呢？”丘和便命士廉为行军司马，率兵迎击，大破其众。
高祖遣使领兵巡行岭南，武德五年(622)，与丘和前来归降，那时秦王为雍州牧，引荐士廉为雍州治中，很亲近尊重他。隐太子与秦王嫌隙加深后，士廉便与长孙无忌秘密商议往讨，于当天率领吏士释放囚徒发给兵器铠甲，前赴芳林门助战。秦王为皇太子后，授士廉官为太子右庶子。后升任侍中，封为义兴郡公。坐隐匿王王圭章奏不及时上闻之过，左迁安州都督。
后任益州大都督府长史。蜀人习俗怕鬼而忌讳重病，虽父母病重也不亲临服侍，而用竿头挂食物以让父母自取，兄弟之间不互借钱财。士廉为此设立条教，多方晓谕诱导督促落实，使其风俗顿时改变。引导儒生讲论经义，使蜀地学校再次兴盛。秦代李冰疏导汶江之水灌溉田地，沿渠之地每顷价值千金，富强之家多相侵夺。士廉在旧渠之外更开支渠，以增加灌溉面积，蜀人赖此更加富裕。
后来入朝任吏部尚书，进封为许国公。士廉善于鉴别人才，又熟知姓氏族谱，凡所委用，无不人地两当。高祖皇帝逝世后，代行司空，负责营建山陵；加爵为特进，迁任尚书右仆射。士廉家族三世担任此官，世人以其贵为荣。
太宗巡幸洛阳，由皇太子监国，命士廉摄太子少师之职。并下达手诏说“：我能端居高拱于三川，而不忧关中，正是因为托付给你呀！”几年之后，上表请求离职，太宗听其解除右仆射之职，加爵为开府仪同三司，照旧为同中书门下三品，参知政事。太宗征讨高丽，皇太子监国进驻定州。又摄太子太傅，同掌朝廷机务。
太子下令说：“寡人靠您加以训导，而近来听政，据案听您奉对，于我心实不能安，有关官员应当另设一案以奉太傅。”
士廉一再推让而不敢当。
返还至并州时生病，太宗亲临住地看望。贞观二十一年(647)，病重，太宗到其私宅临问，为之泪下，去世时七十一岁。太宗又想临丧哭吊，房玄龄见太宗正在服食药石期间，上表劝谏说不要临丧。太宗说“：我与士廉有旧故姻戚的深重情义。岂只是君臣之礼份，您就不要再说了。”随即带领数百从骑出行。长孙无忌驰伏马前，陈说士廉遗言，请求不要临丧。太宗仍不答应，无忌直至伏地流泪，太宗才返回东苑，南向而哭。下诏赠予司徒、并州都督，谥为文献，陪葬于昭陵。当时正值寒食节，敕令尚宫以四车食物往祭，太宗亲自撰文。丧柩出横桥时，又登上城西北楼望丧而哭。高宗即位后，加赠太尉，配享于太宗庙廷。
士廉行为举止详谨华贵，但凡有所献纳，..绅大夫全都瞩目以观，所上奏议一概焚其底稿，不让家人看见。士廉很早就看出太宗并非常人，以其所出之女嫁给太宗，这就是文德皇后。遗令墓中不得收藏他物，仅置衣服一套与平生所好的可终身遵循的记载先王典训的书籍。
起初，太宗曾认为山东士人崇尚阀阅，后代虽已衰败，子孙仍然负其世望，嫁娶必定多收资财，因此人们称之为卖婚。于是下达诏令派士廉与韦挺、岑文本、令狐德..负责天下谱牒，参考史传记载，检验正定真伪，升进忠贤之家，斥退悖恶之族，先序宗室，后述外戚，抑退新立门户，登进旧日望族，前为富室，后为寒门，总共二百九十三姓，一千六百五十一家，分为九等，称之为《氏族志》，而崔干仍然位居第一等。太宗说：“我对崔、卢、李、郑并无嫌忌，只是见其后世衰弱，不再成为冠冕之族，而仍依仗旧望以取资财，其不肖子孙自高自大，贩卖松木贾，不知人们为何看重他们？北齐据有河北，梁、陈地在江南，虽有人物，仅处于偏僻下国，无可贵重，故以崔、卢、王、谢之族为重。如今谋士功臣凭忠孝学艺跟从我平定天下，怎能纳货于旧门，追其虚声而违其实情，以卖婚为荣呢？最高有立德，其次有立功，再其次有立言，最后有爵位任职为公、卿、大夫，世世不绝，这才叫作门户。如今尽与此相反，难道不是太糊涂了吗？我将依照今日的冠冕官爵决定其姓氏的等级高下。”便将崔干列为第三等姓氏，然后颁布其书于天下。
高宗时，许敬宗认为未叙武后世系，李义府又耻其家族无名，另派孔志约、杨仁卿、史玄道、吕才等十二人重新改定，总计二百三十五姓，二千二百八十七家，皇上自叙其改定的缘由。将四家后族、餋公、介公及三公、太子三师、开府仪同三司、尚书仆射列为第一等姓氏，文武二品官与知政事三品为第二等姓氏，分别按官品爵位高低排列，分为九等，只取自身及兄弟子孙，其余亲属概不列入，改其书名为《姓氏录》。当时凡因军功升入五品官的人员，全都升其谱限，..绅先生以此为耻，视之为“勋格”。李义府上奏尽取《氏族志》加以烧毁。又下诏规定后魏陇西郡李宝，太原郡王琼、荥阳郡郑温，范阳郡卢子迁、卢浑、卢辅，清河郡崔宗伯、崔元孙，前燕博陵郡崔懿，晋赵郡李楷，总共七姓十家，不得自为婚姻；三品以上官员家纳币不得超过三百匹，四品、五品之家二百匹，六品、七品之家一百匹，全为嫁妆，夫家禁止收受陪门资财。
起初，后魏太和年间，确定四海望族，以李宝等人为其首。其后代子孙矜尚门地。所以《氏族志》将他们一律降等。王妃与公主之婿尽取当代世勋贵臣名臣之家，未曾崇尚山东旧族，其后房玄龄、魏征、李责力等人又与他们结为亲家，以故声望不减。但每姓之中又依房望列出等第，虽同一姓，其中高低悬隔甚远。李义府因替其子求婚不成，便上奏予以禁止。
在这之后，天下这类衰宗落谱之家，同辈所不齿者，都称之为“禁婚之家”，更加自我贵重，凡其子女尽都暗自相互聘娶，天子不能禁止，世人认为这是弊病。
高士廉有六个儿子，其中履行、审行、真行有名。
履行居母丧时哀毁过份，太宗遣使劝他勉强进食。娶东阳公主为妻，承袭其父的封爵。后由户部尚书改任益州大都督府长史，治政有能名。后坐长孙无忌之罪，谪迁为洪州都督，又改任永州刺史。
真行任官至左卫将军。其子高岐受章怀太子事件的牵连，下诏命令其家自行责处，真行持佩刀刺杀其子，断其首级抛弃道上，高宗看不起真行的行为，将他贬为睦州刺史。
审行从户部侍郎贬为渝州刺史。
赞文说：古代授予姓氏以旌表有功之臣，那时人们全为土著，因此名宗望族，列出郡国名称以自表出处，由此族谱世系之作兴起，目的是为了推明排列长幼亲疏，使百代之后不相混乱。但遭晋代流亡迁徙，胡虏扰乱中华，百宗破亡，士离乡土，其后世子孙仍携其系录，以显示所承祖先，而门阀要者，甚至卖婚以求财，丧尽廉耻。唐代初年，流弊仍甚。天子多次抑制不为收敛。到中唐以后，世风教化浇薄，谱录又都废毁，公无常产拘束，士无旧德相传，说起李氏全都出自陇西，说起刘氏全都出自彭城。世代漫长，无从考查，冠冕之家与仆役之人混为一体，可叹息啊！