苏威，字无畏，苏绰之子。他从小就性情淳厚，五岁时丧父，悲哀痛苦的情形和成年人一样。宇文泰在世时，他继承父爵为美阳县公。大冢宰宇文护见到他后给他以礼遇，把女儿新兴公主嫁给他。他见宇文护专擅大权，恐怕殃及自身，便逃入山中。由于叔父的逼迫，他才回来。然而仍经常住在山中的寺院中，以读书为最大乐事。武帝亲政，封他为稍伯下大夫。前后授给他的官职，他都以有病辞退不受。
他的从父的妹妹嫁给河南的元世雄。世雄过去与突厥有矛盾，突厥人与周朝通好，请求得到元世雄和他的妻子才能甘心。北周便将世雄夫妇送给突厥。苏威知道突厥人贪财好利，便卖掉田产家宅，花尽所有的钱将世雄夫妇赎回，人们都称赞他的轻财好义。
杨坚任丞相，高赹多次夸奖苏威的贤能。杨坚平时也很敬重他的名望，将他召入自己的卧室内，与他交谈后非常高兴。住了一个多月，他听说杨坚要接受北周的禅让，便逃归乡村。高赹请求将他追回，杨坚说：“这是因为他不愿意参与我的事，暂且让他在乡间住一段。”杨坚受禅称帝，征拜他为太子少保，追赠他的父亲为邳国公，让他继承爵位。不久又命他兼纳言，他全都上表辞让，朝廷下诏不允许。
隋文帝曾与文献皇后对饮，召苏威、高赹、杨素、广平王杨雄四人同饮，对他们说：“太史说我的命运只能当三年皇帝，我很忧虑，所以举行这次酒宴。现在想营造南山险要的地方，将来遇到事变与你们一起固守那里，以观察时局的变化，怎么样？”苏威进谏说：“周文王修养道德，还有地震灾害的发生；宋景公对人慈爱，一句话就使他生病的法星退避三舍。愿陛下崇尚道德，享受上天赐予的..美。如果放弃道德，一味凭借险要自固，原来与你同舟共济的人，也会成为你的仇敌。纵有南山的险阻，怎么能够使你保国全身呢？”隋文帝很赞成他的话，敬他一杯酒。
早先，苏威的父亲苏绰在西魏时因国家用度不足，创议制定征税法，很为朝廷重视。不久他叹息说“：我所创立的征税法正好像拉开的弓，不是安定社会的方法。以后的君子，谁能将这把拉开的弓弦松弛下来呢？”苏威听到这句话后，常常把减少赋税作为自己的责任。这时，便奏请朝廷减少赋税和劳役，务必按照典章制度制定赋役标准，隋文帝都接受了。他逐渐被隋文帝亲近和重用，与高赹一起掌管朝政。他见宫中用银子做幔帐的挂钩，因而极力陈说节俭的好处以劝谕隋文帝。隋文帝听了感动得脸色都变了，一切旧有的装饰，都命令除掉。隋文帝曾恼恨一个人，准备把他杀死。苏威入宫劝谏，隋文帝不听，更加恼怒，要出去亲自将那人杀掉。苏威挡住他的去路，隋文帝躲闪着出了宫殿，苏威又拦住了他，他一甩衣袖回到殿内。过了很久，召见苏威并感谢他说：“你能这样大胆谏阻，我今后就没有忧虑了。”于是赐给他两匹马，十多万钱。过了一年多，命他兼大理卿、京兆尹、御史大夫，原来的官职照旧。持书侍御史梁毗弹劾他身兼五职，陷于繁苛的公务之中，又不举荐贤能代替自己。隋文帝说“：苏威天天孜孜不倦，志向远大，举荐贤能暂时缺失，何必太着急。”他又对苏威说“：被任用就施行自己的主张，不被任用就退而隐居，只有我与你才能这样啊！”他又对朝臣们说“：苏威如不遇上我，就无法落实他说过的话；我如果没有苏威，怎么去实现自己的主张呢？杨素的才能举世无双，如果让他根据古代和今天的情况，宣布道德，推行教化，却不是苏威的对手。苏威如果遭逢乱世，就连汉初商山中的四个年纪高迈的隐士，也不会轻易使他折服啊！”
不久，他被任命为刑部尚书，解除了少保、御史大夫的职务。这时，他与高赹同心协力，赞助朝政，大小事情无不运筹谋划。所以参政数年，天下太平。不久转任户部尚书，纳言官职不变。山东各州百姓发生饥荒，隋文帝命他前往赈恤。他又迁任吏部尚书，兼领国子祭酒。隋朝建立在长期战乱之后，法律制度杂乱无章。隋文帝命朝臣们整顿改革旧的法典，形成一代新的法典，法律制度的格式大多由苏威确定，人们都认为他很有才能。开皇九年(589)，他被封为尚书右仆射。这一年，因母亲去世离职，哀毁骨立，朝廷不断下诏慰勉。不久，命他复职任事，他坚持辞绝，朝廷下诏不允许。第二年，隋文帝巡视并州，命他与高赹留下总理京城事务。不久他也到并州隋文帝的住所，处理讼案。
没过多时，朝廷命他持节巡抚江南，授予他相机处理一切事务而不需奏报朝廷的权力。他经过会稽，翻越五岭然后回来。江南自从东晋以来刑法废弛。隋朝平定南陈之后，地方长官尽力改变法纪松弛的情况，无论男女老幼，都让他们背诵父义、母慈、兄友、弟恭、子孝等五种礼义。苏威又加上一些繁琐的辞藻，百姓们都为此叫苦连天。他回到朝廷，奏报江南应按内地州郡整顿户籍。隋文帝认为江南刚刚平定，召来户部尚书张婴，批评苏威为政太急。这时江南各州县又谣传朝廷要将他们迁移到关中，远近的百姓都惊恐不安。饶州的吴世华起兵作乱，将县令活活用刀一块块割死，将他的肉吃掉。于是，陈朝原有的国土上的百姓全部起来造反，活捉了长史，抽去肠子将他杀死，说：“你还让我们背诵五教吗？”不久，朝廷命内史令杨素将叛乱讨平。
苏威的儿子苏夔以公子的身份享有盛名，罗致宾客，天下的士大夫大多归附。当时讨论礼乐，他与国子博士何妥各有不同的意见，于是二人各持己见。朝廷让群臣们署名表决同意谁的意见，群臣们大多趋附苏威，因而，赞同苏夔的人十个中就有八九。何妥愤怒地说“：我作为师长讲学四十多年，反而被这个后生屈服！”他便奏劾苏威与礼部尚书卢恺、吏部侍郎薛道衡、尚书右丞王弘、考功侍郎李同和等人结为朋党，台省中都喊王弘为太子，称李同和为叔父，说二人就像苏威家的子弟。又说苏威靠不正当的手段任用他的从父的弟弟苏彻、苏肃等为官。另外，国子学聘请黎阳人王孝逸为书学博士，苏威却让卢恺将王孝逸安排到他的尚书府任参军。隋文帝命蜀王杨秀、上柱国虞庆则等人调查，事情全部属实。隋文帝把《宋书》中《谢晦传》里的有关朋党的文章让苏威读。他非常恐惧，脱下帽子叩首。隋文帝说：“谢罪已经晚了！”于是，下令免去他的官爵，让他以开府的身份回家。朝中知名的人士受苏威牵连的有一百多人。不久，隋文帝说“：苏威是一个有道德的人，只是他被别人蒙蔽了。”命将他的名字记在皇宫门外。
一年多后，他恢复爵位为丕阝公，被封为纳言。跟随隋文帝到泰山祭祀，坐罪不敬被免去官职。不久又恢复官位。隋文帝对群臣说：“人们说苏威假装清廉，实则家中有许多金玉，这是毫无根据的说法。然而他的性情凶狠暴戾，不切实际，追求功名的心情太重，对顺从他的人就喜欢，违背他的人就记恨，这是他最大的缺点。”仁寿初年，又任命他为尚书右仆射。隋文帝到仁寿宫，任他为总留事。隋文帝回来后，御史奏劾他多有失职。隋文帝发怒，质问并指责他，他连忙谢罪，隋文帝才止息怒火。
炀帝即位，准备大举修复长城，苏威进谏劝阻。高赹、贺若弼被朝廷诛杀，他也被牵连免去官职。过了一年多，被任命为鲁郡太守，特许他排列仪仗。不久将他召回朝廷，授予太常卿。他跟从征讨吐谷浑，晋位为右光禄大夫。一年多后，又任纳言，与左翊卫大将军宇文述、黄门侍郎裴矩、御史大夫裴蕴、内史侍郎虞世基参掌朝政，人们称他们为五贵。炀帝征讨辽东，他以原来的官职兼右武卫大将军，被进晋为光禄大夫，赐爵为房陵侯，不久晋爵为房陵公。他以年老为理由提出辞职，未被允许。
杨玄感反叛，炀帝将他召进军帐中，脸上现出恐惧的颜色，问他：“这个小子很聪明，能不能造成大的祸患？”他回答：“粗疏的人并不聪明，您千万不要忧虑。只是怕今后蔓延成为祸乱的根源。”他见不断劳役百姓，人人思乱，因此想劝谕炀帝，炀帝竟不醒悟。
隋军征辽返回，来到涿郡，朝廷命他到关中安抚百姓，让他的孙子尚辇直长苏儇做他的副手。他的儿子鸿胪少卿苏夔这之前已任关中简黜大使。一家三口人都出使关中，三秦之地的百姓都替他们感到荣耀。过了一年多，炀帝亲手写诏书说“：玉因洁净而润泽，红色和紫色也不能改变她的品质；松靠寒冷衬托，严霜冷雪不能凋谢她的风采。真可称得上温和仁厚刚劲正直，本性使她们成为这个样子啊。房公苏威，是前后两代帝王的旧臣，朝中的元老，国家的栋梁。他辅弼我治理朝政，奉公守法，屈身遵礼。过去汉代的萧何、张良、韩信三个英杰，辅助惠帝的是萧何；西周有十位治理乱世的名臣，帮助成王治理朝政的是邵公。国家最珍贵的宝物就在于得到贤能的人才。他处理一切事物都公允恰当。虽然多次凭借事情论述道理，都能毫无保留地提出自己的意见，权衡事情的轻重，都以朝廷为重。可授予开府仪同三司，其余官职不变。”他当时受到朝廷的重视，朝臣们没有能与他相比的。
后来他跟随炀帝到达雁门，炀帝被突厥人包围，朝廷十分震惊。炀帝想轻骑突围而去，他劝谏说：“坚守城池则我们绰有余力，轻骑奔驰则是敌方的特长。陛下是大国的君主，怎么能轻易离去？”炀帝才停止突围的念头。突厥人不久也撤围离去。炀帝到达太原，苏威认为盗贼不断出没，劝炀帝返回京城，以便为了国家培植根本。炀帝开始同意，后来竟听从宇文述等人的建议，便驻跸东都。这时天下动乱，他知道炀帝已不能救正，因而甚为忧虑。一次，炀帝问盗贼的情况，宇文述答道：“盗贼的确很少，不足为虑。”苏威不能违心回答，便躲在柱子后面。炀帝喊着他的名字询问，他说：“我不是负责这方面职责的，所以不知道盗贼的多少，只是忧虑贼寇离我们越来越近。”炀帝问“：是什么意思？”他回答“：过去贼寇占据长白山，现在已近在荥阳、汜水了。”炀帝不高兴地退去。五月五日这一天，百官馈赠给炀帝的礼物大多是珍奇玩好，苏威却献上《尚书》一部，略加讽喻。炀帝意更不平。后来又问他讨伐辽东的事情，他都对答：“希望大赦天下盗贼，派他们去攻打高丽。”炀帝更加恼怒。御史大夫裴蕴迎合炀帝的旨意，命御史张行本弹劾苏威过去在高阳铨选官吏，滥授官职，惧怕突厥，请求返回京城等罪状。炀帝命审理这件事，便下诏说：“苏威树立朋党，喜好异端，胸中常怀诡诈，贪取名利，诋毁律令，污蔑朝廷。过去征讨辽东，是遵奉先帝遗志，凡是参与议论的朝臣都各抒胸臆，而苏威却不直抒己见。陈述善道以启迪帝王的道理难道就像他这样吗？”于是将他免官除名。过了一个多月，有人奏告他与突厥勾结。大理寺主簿斥责他，他陈说自己精诚之心不能感动天子，瑕疵却不断出现，实在是罪该万死。炀帝怜悯他，将他释放。这一年，他随炀帝到达江都，炀帝想重新任用他，裴蕴、虞世基奏报他昏聩多病，炀帝才停止。
宇文化及杀死炀帝，命苏威为光禄大夫，开府仪同三司。宇文化及失败，他又归附李密。李密失败，他到东都洛阳，越王杨侗封他为上柱国、邳公。王世充称帝，他又被任命为太师。他自认为是隋朝旧臣，遭逢动乱，所到之处都随着时局的变化而变化，以求得到宽免。
唐太宗平定王世充以后，坐在东都阊阖门内，苏威请求谒见，自称年迈多病，不能叩拜。太宗派人斥责他说：“你是隋朝的宰相，朝政混乱却不能救治，使得生灵涂炭，君死国亡。看见李密、王世充，你都拜伏称臣，高兴得手舞足蹈。现在既然老迈多病，不烦劳见面。”他不久进入长安，又到朝堂请求接见，高祖李渊也不同意。他死在家里，时年八十二岁。
苏威行为清静俭约，以廉洁谨慎著称。然而每到朝臣们讨论时政时，他却厌恶别人与自己的意见不同，虽然是小事情，也一定固执地争论。人们他认为没有大臣的体统。他所修订的法令章程都颁行于世，但颇为繁琐细碎，评论者认为不是长久能实行的法律。大业末年，朝廷多次征伐和役使百姓，每到论功行赏时，他都秉承炀帝的意思，常隐瞒这些事。当时群盗四起，郡县有表章奏报朝廷。他都呵斥各地的使者，命他们奏报时减少贼寇的数目。所以朝廷派兵征讨，大多不能获胜。因此，他被众人所议论讥笑。