继山东王薄起义之后，在隋炀帝第二次征伐高丽之际，杨素之子杨玄感相机起兵，在隋廷的后院烧起了一把火，给了隋朝沉重的一击。
杨玄感，形貌酷肖其父杨素，雄伟健壮，蓄得一部好须髯。然他幼时却是很愚钝，周围人皆认为他有些痴呆，唯独杨素不以为然，对亲戚们说：“此儿不痴。”知子莫若父，杨素果然言中，到杨玄感长成后，竟是文武双全，喜读书，善骑射。
生在官宦人家的子孙，不用担心前程，因有恩荫之法可让他们轻易地获取官位。杨素功大官也大，杨玄感靠着恩荫走进了官场。这可能是历史上少见的奇事：靠着父亲恩荫的杨玄感，居然和父亲同样是二品，上朝时站在一个队列。隋文帝如此做，自然是嘉奖杨素的一个方式，可上朝时看着看着，觉得父子同站一列，有失体统，由是当廷宣布将杨玄感降了一等。此时，杨玄感不以为耻，反以为荣，拜谢道：“没想到陛下这么宠臣，竟然在公廷中让臣献了孝心。”这话，巧妙地挠到了隋文帝的痒处，给自己美化了形象。
杨玄感第一次当地方长官，是当郢州（今湖北钟祥）刺史。他虽是初出茅庐，却是少有的老到和有手段，到任后分布耳目，打听当地官吏的行状，无论是清廉还是贪赃，其能力如何，都弄得清清楚楚，然后找机会一一予以当场公布。从而使得官吏们不敢有半点欺隐，在一定程度上，纯洁了郢州的官场。对此，当地民众相当敬佩，纷纷称赞他的才干。
后转宋州刺史，到杨素过世后，杨玄感被调入中央，拜鸿胪卿，封楚国公，迁礼部尚书。
官居要职的杨玄感，有一点也很像他的父亲，为人骄矜，但偏爱文学，遂使天下名士竞相来往于他的门下。
文学只是杨玄感的业余爱好，他真正的兴趣仍在政治。他从事政治，可谓得天独厚，由于父亲的功勋，杨家名满天下；由于父亲做过将帅，做过宰相，无论是武的系统，还是文的系统，在朝廷上都有一大批追随者。这些条件，本是杨玄感继续飞黄腾达的资本。可是，在混乱的朝廷氛围中，隋炀帝因办事不顺手，对周围重要人物的猜忌心越来越重。在杨素病卒不久，隋炀帝就暗中说过：“杨素即使不死，必有一日全家诛灭！”此话传出，成为杨玄感的一块大心病。他虽官高爵重，看似体面得很，其实内心一直恐慌不已，怕大祸临头。他不甘束手待毙，欲趁着朝政紊乱，准备发动政变：废除隋炀帝，拥立隋文帝第三子杨俊之子秦王杨浩。在随从隋炀帝征伐吐谷浑时，因部队发生混乱，他考虑下手，偷袭隋炀帝的行宫。然这行动被他的叔父杨慎阻止了，理由是时机尚未成熟。
既然时机尚未成熟，杨玄感调整了计划，积极投入隋炀帝的权力圈子中，跻身于军事最高领导层，在军队中建立他的威信，在等待时机的过程中，为日后行事打下坚实的基础。在兵部尚书段文振的帮助下，他被隋炀帝接受了，并得到了这样的赞语：“将门必有将，相门必有相，此言不虚。”由是，赏物、礼遇、权柄，令人羡慕地加到了他的身上。
时机终于降临。这个时机，包含着两个方面：一是隋炀帝第二次征高丽，后方空虚；二是百姓苦于劳役，天下已出现乱象。时杨玄感被委以在黎阳督运粮饷，他故意拖延，希冀在前方的军队因缺少粮饷而削弱战斗力，直至被高丽军击败。隋炀帝派人来催，他的答复是：漕运的水路已被盗贼把握，粮船难以为继。
等杨玄感从前线秘密召来其弟杨玄纵等人，便正式宣布起兵。为避免直接针对隋炀帝而树敌过众，他用了贼喊捉贼的手段，宣称带领水军的来护儿在东莱谋反，他奉密诏讨伐来护儿。由此，他带兵进入黎阳县城，关了城门大索男夫，以为壮丁；按照隋文帝时代的样式，开府置官；传移文书给周围郡县，命令立即会兵于黎阳。
谋士李密为杨玄感出了上中下三策：上策是兵进东北，扼住隋炀帝的归路，其粮饷断绝，复被高丽所迫，可不战而擒；中策是西取长安，据险而守，徐图天下；下策是以精锐部队，袭击洛阳，以号令四方。
杨玄感求成心切，采取了下策。他以为拿下东都洛阳，即可取得政治象征。他挥师东向，在修武县渡河遇阻后，折道汲郡渡河。一路上，来从军者数不胜数，到达洛阳城上春门外，已众至十万多。洛阳地区的民众将杨玄感当作救星，夹道竞相献上牛酒，以示欢迎。杨玄感认定人心向己，每每誓众说：“我身为上柱国，家积巨万金，至于富贵，已无所求。今不顾破家灭族，只是为天下解倒悬之急，救黎民之命！”这阵阵誓言，愈发打动了天下受苦受难人之心，每日来军营投效者，竟达数千人之多。
在外围打了些胜仗后，杨玄感将洛阳城团团围住。负责东都城防的民部尚书樊子盖，严明纪律，申颁法令，组织了守城战。两军僵持不下，而援军中的贵族子弟，如韩擒虎子韩世咢、观王杨雄子杨恭道、虞世基子虞柔、来护儿子来渊、裴蕴子裴爽等四十多人，皆向杨玄感投降。杨玄感甚喜，以为赢得了政治优势，立即将他们全部委以重任。
洛阳告急，刑部尚书卫玄率众数万，从关中驰援。卫玄出二万人挑战，杨玄感佯败而退，卫玄实施追击，不料中了伏兵，前军尽数战没。几天后，双方再战，兵锋刚一接触，杨玄感让部下大叫：“官军已得杨玄感！”卫玄军稍一松劲，杨玄感亲领数千骑兵冲锋，冲得对方大溃，俘虏了八千人。
杨玄感不是个在后面指挥的人物，他力大无比，且骁勇得很，每战都亲持长矛，身先士卒，呼喊叱咤，所当者莫不惊魂失魄，不能抵挡。由此，军中将他比作项羽。他不仅善战，并擅长抚驭部队，将士感激，以死相效，从而战无不胜。
卫玄数败，加上粮食不继，情急之下，驱众与杨玄感决战。一日之间，交锋了数十次。双方战得血流如河，尸体狼藉，直到杨玄感之弟杨玄挺阵亡，杨玄感军才稍微退却。在城上观战的樊子盖，趁机开了城门放出人马，杀了杨军数百人。从整个战局来说，杨玄感占了些上风，然他不能彻底打开僵局，对东都还是望“城”莫及。
就在此时，放弃了高丽战场的隋炀帝，命令武贲郎将陈棱进攻杨玄感的根据地——黎阳；武卫将军屈突通屯兵河阳，相机渡河向洛阳进发；左翊卫大将军宇文述发兵跟进；右骁卫大将军来护儿从另一路进援东都。
面对前后夹击的形势，杨玄感再次犯了战略错误，听从了谋士李子雄分兵相拒的主张，将军队一分为二，西路对付卫玄，东路对付屈突通。由于杨玄感的阻击无力，屈突通顺利渡过黄河，与卫玄、樊子盖遥相呼应，发起了大战，打得杨玄感二路军连连败退。
眼看取得洛阳的希望已成泡影，杨玄感又听从了李子雄放弃洛阳，转而进攻长安，然后以西击东，成就霸王之业的建议。关中的杨氏家族，接连派人前来接洽，愿意作为向导。
杨玄感进入关中，开永丰仓散粮于百姓，以争取人心。军至弘农郡（今河南灵宝），当地父老争相劝留杨玄感，要他夺取弘农宫。杨玄感同意了，可连攻三日，城不能下。宇文述的追兵迫近，杨玄感只得西去，随即布阵五十里，边战边行，却是一日三败。接着布阵于董杜原，双方进行决战，杨玄感惨遭大败。
他领着十余骑，突围而去。在追兵的追击下，最后，仅剩下他和其弟杨积善二人。眼看大势已去，穷途末路的杨玄感不愿遭擒受辱，让杨积善杀了自己。
杨玄感的起事，终于黄花委地。然这场起事，在隋朝后院猛烧了一把火，严重地破坏了隋炀帝的形象，在统治阶层中进一步导致了人心涣散，为隋朝自毁长城敲响了警钟。