杨素字处道，从小就胸怀磊落，志向远大，不拘小节。一般人大多不了解他，惟有从祖杨宽惊异他的才能，常常对子孙们说“：处道出类拔萃，是一个特殊的人才，不是你们所能赶得上的。”杨素后来与安定的牛弘志同道合，两人酷爱学习，研讨经典精义，不断有所贯通和发挥。他善于写文章，工于草书和隶书，十分留意于占卜之术。胡须飘逸秀美，大有英雄豪杰的仪表。
北周大冢宰宇文护请他做中外记室，又转礼曹，加大都督衔。周武帝即位，亲自管理朝政，杨素因为他的父亲杨敷坚守节操，被齐军俘获，因而不被朝廷使用。他上表申辩，以至于好多次。周武帝十分恼怒，命令侍卫将他斩首。杨素又进言说：“我侍奉无道的昏君，死是应该的。”武帝明白了他话中的含义，便赠杨敷为使持节、大将军，和谯、广、复三州刺史，谥号忠壮。拜杨素为车骑大将军、仪同三司，他逐渐被重用。武帝常命他起草诏书，落笔很快写成，文词和内容都很精彩，武帝十分赞赏，对他说“：好好的自相勉励，不要担忧得不到富贵。”杨素应接道：“只恐怕富贵来逼迫我，我却无心追求富贵呀！”
平定北齐的战役时，杨素请求率领部下作为先锋，武帝答应了他，赐给他一根竹杖，说：“我正想大张旗鼓地驱赶齐军，所以把这件东西赐给你。”杨素跟随齐王宇文宪与齐军在河阴大战，因建立军功被封为清河县子，授予司城大夫，又与宇文宪一起攻克晋州，率军队驻扎在鸡栖原。北齐君主率大军迎战，宇文宪害怕，乘夜逃跑，被齐兵追赶，他的部下四散奔走。杨素与骁勇将领十余人奋力苦战，宇文宪才幸免于难。北齐平定后，杨素被加授开府职衔，改封为成安县公。
不久，又跟随王轨打败南陈将领吴明彻于吕梁一带，奉命管理东楚州的政务。他的弟弟杨慎被封为义安侯。南陈将领樊毅在泗口修筑城池，杨素将陈兵赶走，摧毁了樊毅修筑的城堡。宣帝即位，杨素继承父亲杨敷的爵位为临贞县公，他的弟弟杨约为安城县公。不久，他又随韦孝宽巡行淮南。
隋文帝杨坚任北周的丞相时，杨素与他交情很深，文帝很器重他，命他做汴州刺史。到了洛阳，恰逢尉迟迥叛乱，荥州刺史宇文胄占据武牢关，与尉迟迥遥相呼应，杨素无法东进。文帝拜杨素为大将军，率军进攻宇文胄。杨素将他击败，被调迁为徐州总管，位至柱国，被封为清河郡公，他的弟弟杨岳被封为临贞公。到了隋文帝即位，他被封为上柱国，官至御史大夫。他的妻子郑氏性情偏狭凶悍，杨素对她十分忿怒，说“：我如果做了皇帝，你一定没资格做皇后。”郑氏将他的话报告给文帝，杨素因而获罪被免职。
隋文帝正图谋取得江南。先是杨素多次进呈攻取南陈的建议。不久，文帝就授他为信州总管，赐钱一百万、锦缎一千匹、马二百匹，派他讨陈。杨素驻扎在永安，建造大型战舰，取名叫“五牙”。船上建起五层楼，高一百多尺，左右前后竖起六根桅杆，加起来高一百五十尺，可容纳战士八百人，舰上遍扎旗帜。小一点的战舰叫“黄龙”，可乘士兵一百多人。其余“平乘”、“舴艋”等战船大小各有差别。等到大举讨伐南陈，朝廷命他为行军元帅，率领船队直趋三硖。隋军来到流头滩，南陈将领戚欣率青龙舰一百余艘屯兵守卫在狼尾滩，以阻止隋军的道路。这里地势险要，隋将们十分忧虑。杨素说“：胜负就在此一举。如果白天开船进攻，对方则能看清我们的行动。加之水流迅急，水手无法控制，那么，我们就会失掉这里的有利条件。”于是，隋军夜间发动进攻。杨素亲自率领黄龙舰十艘，悄悄顺流而下；派开府王长袭从南岸袭击戚欣别处营寨的栅栏；命大将军刘仁恩直趋白沙的北岸。天明到达，进攻陈军，戚欣失败。俘虏了许多陈军，安抚后全部释放。隋军秋毫不犯，陈人十分高兴。杨素率领水军顺江东下，战舰船只覆盖了江面，军旗盔甲耀日蔽天。杨素坐在平乘大船上，容貌伟岸雄奇，南陈人看了，都惊惧地说：“清河公杨素真是一尊江神啊！”
南陈的南康内史吕仲肃领军驻扎在岐亭，正把守着江峡，在江北岸的山崖上固定三条铁锁链，拦江横截在上游，用来阻挡敌军的战船。杨素与刘仁恩登上江岸一起进发，先进攻陈军的栅栏，吕仲肃的军队夜间溃败，杨素除掉了拦江的铁锁链。吕仲肃又据守荆州辖下的延洲，杨素派遣巴譙兵卒数千人，乘坐五牙舰四艘，依靠舰上的樯竿捣碎敌军的十多艘战舰，将陈军打得大败，吕仲肃仅保全了自己的性命。南陈后主派信州刺史顾觉镇守安蜀城，荆州刺史陈纪镇守公安，都因惧怕隋军而逃之夭夭。巴陵以东再没有人敢于坚守。湘州刺史、岳阳王陈叔慎请求投降。杨素来到汉口，与秦孝王会合后才返师。被授予荆州总管，晋爵为郢国公，授给长寿县食邑一千户；封他的儿子杨玄感为仪同三司，杨玄奖为清河郡公；赐给绸缎一万匹、粮食一万石，又加上许多金银财宝；又将陈后主的妹妹和十四名女妓赏赐给了他。杨素对隋文帝说：“有地名叫胜母，曾子都不进入。叛逆王谊过去封在郢地，我不愿与他封在同一个地方。”于是，改封为越国公。不久，又授予纳言，转为内史令职。
时隔不久，江南人李棱等叛乱，朝廷命杨素为行军总管去讨伐叛军。文帝命平定叛乱以后，将男子全部杀掉，妇女都赏给士兵，在战场上侥幸活下来的罚做苦役。叛逆朱莫问自称为南徐州刺史，用重兵把守京口。杨素率水师从杨子津进击，将朱莫问打败。晋陵顾世兴自称为太守，与他的都督鲍迁等人前来抗拒，杨素将他们攻破，抓住了鲍迁，俘虏贼兵三千多人。他进击无锡的贼帅叶皓，又将他们平定。吴郡的沈玄忄会、沈杰等率兵围困苏州，刺史皇甫绩屡战失利。杨素率军队救援他。沈玄忄会形势窘迫，逃去投奔南沙的贼帅陆孟孙。杨素在松江向陆孟孙的部队发动进攻，将他打得大败，擒获了陆孟孙、沈玄忄会。黟、歙一带的贼帅沈雪、沈能据守栅栏以自我巩固，也被攻下。
江浙贼人高智慧自号为东扬州刺史，吴州总管、五原公元契镇守会稽，因为惧怕高智慧的兵力强盛而向他投降。高智慧将元契的部下全部杀死，元契自杀。高智慧有战舰船只一千多艘，占据了要害地方，军队十分强劲。杨素领军向他进攻，从清晨到下午申时，经过艰苦战斗，打败了贼兵。高智慧逃入大海。杨素追赶他，从余姚渡海直趋永嘉。高智慧抵抗，杨素又将他击败逃走。贼帅汪文进自称为天子，占据东阳，任命他的同党蔡道人为司空，驻守乐安。杨素领兵进讨，全部平定。又攻破永嘉贼首沈孝彻。隋军从这里步行向天台进发，直指临海郡，逐一捕获漏网的贼兵，前后打了一百多仗。高智慧又逃到闽越坚守。文帝因杨素长时间在外面征战，所以下诏派人骑快马传命令他还朝，给他的儿子玄感加上开府衔，赐给绸缎八千段。杨素因余寇没有扫除，恐怕成为后患，又请求出发。朝廷下诏命他为元帅，他又率军来到会稽。
先前，泉州人王国庆是南安一带的豪门大族，杀死了刺史刘弘，占据州城发动叛乱。他认为海上艰难险阻，不是北方人所习惯的，所以不设任何防备。杨素率军渡海，突然前来，王国庆十分惊慌，忙弃城逃走。杨素分别派遣各路将领，从水上和陆地分头追击。此时，南海原有五六百户人家，居住在水上成为亡命之徒，号称为游艇子，高智慧、王国庆想去投靠他们。杨素便秘密派人劝说王国庆，让他杀死高智慧以立功，王国庆在泉州杀死高智慧，余党全部投降，江南彻底平定。文帝派左领军将军独孤陀到浚仪迎接慰劳杨素。他回到京城，慰问者天天不断。朝廷授杨素的儿子杨玄奖为仪同，赐给黄金四十斤，又加上银瓶，里面装上金钱；细绢三千段、马二百匹、羊三千只、田地一百顷、住宅一处。
杨素代替苏威为尚书右仆射，与高赹一起掌管朝政。杨素性情疏懒而又好计较，大事小事都放在心上。朝臣之间，他只推崇高赹，敬重牛弘，厚待薛道衡，看待苏威好像不存在一样。其他朝臣，大多受他轻慢排斥。他的才情风度超过高赹；至于诚心体国，待人接物的公平恰当，宰相应具有的识见气度，与高赹差得太远了。
不久，文帝令杨素监造仁寿宫，杨素便平山填谷，督责工役十分严厉紧急，工役们死了很多，宫墙旁边常常听到鬼的哭声。等到仁寿宫建成，文帝命高赹前去视察，高赹奏称宫殿过于绮丽豪华，损伤人丁太多，文帝不高兴。杨素害怕，便在皇宫北门启奏独孤皇后说“：帝王按法规定应该有离宫别馆，现在天下太平，建造一座宫殿怎么能算浪费？”皇后将这个道理告诉文帝，文帝的情绪才缓和下来。于是赐给他钱一百万、锦绢三千段。
开皇十八年(598)，突厥达头可汗进犯边塞，文帝命杨素为灵州道行军总监，率兵出塞讨伐，赐给他绸缎二千段、黄金一百斤。原来的边疆守将与突厥打仗，因为担心他们的骑兵来回冲突，因而将战车、步兵、骑兵互相交错配合，用鹿角布置成方阵，骑兵屯扎在里面。杨素说：“这是自我束缚的办法。”于是，他将旧的战法全部抛弃，命令全军变为骑兵的阵势。达头听后十分高兴，认为是天赐的良机，下马对天祝拜，然后率领数十万精锐骑兵杀来。杨素挥军奋击，将敌人打败，达头受重伤逃跑，敌人哭喊着四散而去。文帝下诏赏赐给他细绢二万匹和一根万钉宝带，封他的儿子杨玄感为大将军，杨玄奖、杨玄纵、杨积善都被封为上仪同。
杨素深于权谋韬略，利用机会进攻敌人，战术变幻没有定则，然而，总体上，治军严肃整齐，有违犯军令的，立即斩首，毫不宽待。每次将要与敌人开战，往往寻找将士的过失而将他们处死，多的处死一百余人，少的也不下数十人，他面前流满了鲜血，却谈笑自若。等到与敌人开战，先命一二百人进攻敌人，如能攻破敌阵就算了；如不能攻破而失败回来，不管剩下多少人，全部斩首；再命二百人进攻，方法同前面一样。将士们个个心惊肉跳，下定了必死的决心，所以战无不胜，他被称为名将。杨素受到文帝的宠爱，他说的话隋文帝没有不听从的，与他一起作战的将士，就是立有很小的功劳也会被记录奖赏。至于别的将领，虽然立有大功，也多被文官们阻止不报。所以，杨素虽然严酷残忍，将士们也愿意跟从他。
开皇二十年，晋王杨广为灵、朔道的行军元帅，杨素做他的长史。晋王屈尊与他交往。杨广被立为太子，出自杨素的计谋。
仁寿初年，他代替高赹为尚书左仆射，朝廷赐给他好马十匹、母马二百匹、奴婢一百口。这年，又命杨素为行军元帅，至云中进击突厥，连续把敌兵打败。突厥逃走，他追到夜里赶上了他们，将要再战，恐怕他们逃跑，便令其他骑兵走在后面，自己亲率两名骑兵和两名投降的突厥人，悄悄地与敌兵一起行走，对方没有觉察。等到他们驻扎时还没稳定下来，他指挥后面的骑兵突然掩杀过来，将敌人打得大败。从此，突厥人远远地逃去，沙漠以南再也没有他们踪迹。因立战功将他的儿子杨玄感晋位为柱国，玄纵为淮南郡公，赏赐物品二千件。
献皇后驾崩，丧葬制度多出于杨素之手。文帝很是赞赏他，下诏说：“君主如人的头脑，大臣好比人的股与肱。共同治理百姓，职责同为一体。上柱国、尚书左仆射、仁寿宫大监、越国公杨素，志向气度恢宏宽阔，对事物变化的洞鉴透彻远大，胸怀辅助时事的韬略，包涵治理国家的才干。我朝王业初开，称霸天下的宏图刚刚奠基，他一出仕就被委以重任。受命出师，擒获和消灭凶恶的贼首，平定了虢和郑。多次秉承朝廷制定的谋略，指挥大军纵横江南；常常接受朝廷颁布的军令，率军长驱于北疆要塞。大军南指，吴越之地便被肃清；王师北临，匈奴族的军队就被摧垮折服。位居尚书省长官，参与军国大事的计谋筹划，在朝廷端正严肃，不谄不骄；说话直抒胸意，毫不隐瞒。谈文学则词气纵横，语言华丽；论武功则谋深虑远，奇招迭出。既能文，又能武，对朕惟命是从。凡委以职责，从早到晚都不怠懈。献皇后气息奄绝，驾离六宫，远别日月，融入白云。坟茔的选择，灵柩的厝置，都委托杨素来料理。皇后的丧事可以依照定礼，但占卜风水，趋吉避凶，却不出于此。杨素对朝廷义重，为国家情深，想使生者和死者都安康泰然，永远无穷。他认为阐释阴阳的书虽然都是圣人所作，但体察其中祸福的道理，尤其需要慎重。便踏遍山川原野，亲自占卜选择，为了寻求最大的吉利，孜孜不倦，奔波不已。终于在京城附近找到一块福地，用以营建陵墓。论起杨素的这种心情，对朝廷实在至诚至孝。他平定贼寇，建立丰功伟业，如不给予奖赏，怎么能申张劝勉奖励功臣的风气！可再封他的一个儿子为义康郡公，食邑一万户，子子孙孙继承不断，其余赏赐仍按旧章。”同时赐给他田地三十顷、绢一万匹、米一万石；金钵一个，里面装满黄金；银钵一个，里面装满珍珠。又赠给绫罗锦缎五百段。
这时，杨素受文帝宠爱越来越重，他的兄弟杨约、从父杨文思、兄弟杨纪以及族父杨异都被封为尚书、列卿。所有的儿子没有任何汗马功劳，都位至柱国、刺史。家里僮仆数千人，后宅的妻妾歌伎，穿着华丽的绸衣的数以千计。府第豪华奢侈，形制有如皇宫。有个叫鲍亨的善于写文章，一个叫殷胄的工于草书和隶书，都是江南的读书人，因为受高智慧牵连沦为奴仆。杨素的亲友故旧，都地位显要。他权势的兴盛，近古以来从未听闻，炀帝杨广初为太子时，猜忌蜀王杨秀，便与杨素密谋，构陷他的罪状，后来竟被废黜。朝臣有违逆他的，虽然忠诚体国有如贺若弼、史万岁、李纲、柳..等人，杨素也暗中中伤他们。如果有人趋附他和他的亲友，虽然没有才干，也一定提拔。朝廷上下都成了这个样子，人们无不因畏惧而依附他。惟有兵部尚书柳述，凭借他是文帝女婿的特殊地位，多次在文帝面前抨击杨素；大理卿梁毗上表说杨素作威作福。文帝渐渐疏远并忌讳杨素，后来诏谕说：“仆射，是国家的辅政大臣，不可以亲自处理细小的事务。只需三五天到尚书省议论一下大事就行了。”表面表示优崇，实际是在削弱他的权力。直到仁寿末年，不再让他全面负责尚书省的事。文帝赐王公以下的大臣射箭，杨素的射术为第一，文帝亲手将外国贡献的价值数万的金精盘赏赐给他。仁寿四年(604)，跟随文帝到仁寿宫，赏赐给他的酒宴十分丰盛。
文帝身体不好，杨素与兵部尚书柳述、黄门侍郎元岩等入宫侍奉他的疾病。这时，皇太子杨广入宫居住在大宝殿，担心文帝会有不测，必须早作防备，便亲手写信，封上送给杨素。杨素便将文帝的情况记录下来，报告给太子，宫人将他的信悄悄送给文帝，文帝看后十分恼怒，文帝宠爱的陈贵人也说太子对她轻狂无礼。文帝发怒，想要召回被废为庶人的长子杨勇。太子与杨素谋划，杨素假借文帝的诏命，让东宫的兵士来宫中守卫，宫门禁止出入，让宇文述、郭衍来指挥。又让张衡侍奉文帝的病。文帝就在这天驾崩，因此颇引起不同的议论。
适逢汉王杨谅反叛，派茹茹天保向东进至蒲州，烧断黄河上的桥；又派王身冉子率军与天保合力坚守。杨素率轻骑五千人袭击，埋伏在渭水渡口，乘夜渡过，天明发动进攻，天保兵败，王身冉子惧怕，献城投降。炀帝下诏将他征还。杨素最初将要出发时，计划着破贼的日子，实际发展都和他估计的一样，炀帝于是命杨素为并州道行军总管、河北道安抚大使，去讨伐杨谅。当时，晋、绛、吕三州州城都被杨谅把守，杨素每地各用二千人吸引他们。杨谅派赵子开率军十余万，修筑险绝的道路，屯据在高壁，布下五十里大阵。杨素命诸将领兵逼近敌营，自己用奇兵进入霍山，攀缘悬崖，越过深谷，急速前进，直捣杨谅的大营，一战将其攻破。杨谅任命的介州刺史梁修罗驻扎在介休，他一听说杨素率军到来，害怕得弃城逃走。杨素领兵进至清源，离并州三十里，杨谅率他的将领王世宗、赵子开、萧摩诃等迎战，又被打破，俘获了萧摩诃，杨谅退守并州，杨素进兵将并州包围，杨谅处境困窘，被迫投降，他的余党全被平息。炀帝派杨素的兄弟修武公杨约拿着他亲手写的诏书慰劳杨素，杨素上表感谢。这一月，他回到京城，又跟随炀帝到洛阳，炀帝命他为营造东京大监。因为平定杨谅的功劳，朝廷授予他的儿子万石、仁行，侄子玄挺为仪同三司，赏赐布帛五千段、罗绮一千匹，杨谅的歌妓二十人也赏赐给他。
大业元年(605)，他升为尚书令，朝廷赏赐给东京的住宅一处、布帛二千段。不久，又被授予太子太师，其他官职和过去一样。朝廷前后给他的赏赐无法计算。第二年，又被授予司徒，改封为楚公，实授给食邑二千五百户。这一年因病去世，谥号景武，赠为光禄大夫、太尉公和弘农、河东、绛郡、临汾、文城、河内、汲郡、长平、上党、西河十郡太守；送给..车京丧车一部、手执木刻班剑的仪仗三十人，前后手执羽葆的仪仗和吹鼓手，谷和麦五千石、布帛五千段，鸿胪寺负责料理丧事。炀帝又下诏为他立碑，以表彰他的丰功伟业。杨素曾将一首长达七百字的五言诗赠给番州刺史薛道衡，词意新颖警拔，风格秀雅超群，成为一时难得的佳作。诗写成不久，就去世了。薛道衡叹息说“：人之将死，其言也善，果然是这样啊！”杨素有文集十卷。
杨素虽有扶立炀帝的谋略和平定杨谅叛乱的功劳，然而却特别被炀帝所猜忌。炀帝对他表面礼遇优隆，而实际上情义甚薄。太史说楚地将有大丧，炀帝因而将他改封到楚。他卧病在床的时候，炀帝每次都令名医去诊治，赐给上等好药，然而却私下问大夫病情，惟恐杨素不死。杨素也知道自己的名位已达到巅峰，所以不肯用药，也不慎重调养。常常对兄弟杨约说：“我难道还需再活下去吗？”
杨素贪图财货，大肆营求产业，东西两京的住宅宏丽奢华，往往早晨建好，晚上又拆掉重造，营建修理没有停止的时候。四方都会繁盛之地，都有他家的旅店、磨房、田园、住宅，其数量以千百计。当时舆论都因此而鄙视他。