和隋文帝杨坚一样，李渊也是出自北周。北周是鲜卑族的政权，汉人混杂其中，时间一久，将祖籍搞得有些混乱。一说他是陇西成纪（今甘肃秦安）人，一说他是陇西狄道（今甘肃临洮）人。二说中有一点是相同的，即都是陇西人，他后来依靠关陇军事集团得天下，亦与此有关。他有着出身不凡的家世，他的七世祖是十六国之一西凉的开国君主李暠；祖父李虎以功被北周追封为唐国公，父亲李昞袭封。
李渊七岁袭封唐国公爵位，从而三世为国公。隋朝建立，被任为千牛备身。靠着母亲与独孤皇后是亲姊妹的关系，他受到了隋文帝的重用，在外放了多处地方官后，回到中央担任了要职。
大业九年（公元613年），隋炀帝发动第二次高丽战争，李渊以卫尉少卿的身份，前往怀远镇（今辽宁辽阳西北）负责督运军需。恰逢杨玄感造反，他得到紧急命令，赴弘化郡（今甘肃庆阳）担任留守，主持关右即潼关以西的军事。
从中央到地方，又从地方到中央，历经政治、刑法、民事、军事等各种要害部门，李渊深入了解了国情民风。在这过程中，他深刻地认识到，隋朝这条大船已经千疮百孔，无可挽救，行将覆灭。由此，他广结志士豪杰，逐步建立了以他为首的势力集团，为夺取天下作好了准备。他不想当忠臣，为失尽民心的隋朝去陪葬。然而，尽管他行事周密，还是受到了隋炀帝的怀疑。隋炀帝召他去行在，他托病未去，隋炀帝暗中流露了希望他早死的意思。为打消隋炀帝的怀疑，他开始自秽，受贿、酗酒、玩女人，以掩盖他的真实行迹。这一招是有效的，隋炀帝改变了对他的看法。因隋炀帝确信，如此一个贪官、淫官、混账官，虽然行为很是不端，却是不可能胸有大志的，这要比那些廉官、好官、正直之官让人放心得多。为什么在衰世恶官层出不穷，聚蚊成雷，在其中也许可以得到些答案。
唐高祖李渊雀屏中选 隋定州总管窦毅的女儿才貌出众，不肯将她轻易嫁给人家，要选一个有本领的佳婿。窦毅在门屏上画了两只孔雀，对前来求婚的人讲，谁能两箭射中孔雀的两只眼睛，便把女儿嫁给谁。先后来了数十个公子，没有一个能射中的。李渊闻之赶来，两箭各中一目。窦毅甚为高兴，便把女儿许配给李渊。后称择婿许婚为“雀屏中选”，典出于此。
李渊的自秽，不仅取得了预期的保身效果，且迎来了官运亨通。在出任几个显眼的军事职务后，大业十三年（公元617年），他被任命为至关重要的太原留守。太原是北方的军事重镇，为防御突厥，此地建造了森严的深池坚城，集聚了大批的精兵强将，囤积了充足的粮食军需。此外，太原还建有晋阳宫，是隋炀帝在北方的行宫，由此具有相当的政治感召力。李渊受命的任务是，和马邑（今山西朔县）太守王仁恭成掎角之势，共同防御突厥。
精通政治的李渊深知，眼下的顺利，并未改变他真正的危境。若要在动荡的风云中占取主动地位，绝不能安于现状，必须抓紧时机，利用手中掌握的优势，先发制人。否则，一旦多疑的隋炀帝再对他采取什么措施，后果将不堪设想。他命令长子李建成、次子李世民进一步收罗壮士、谋士、死士，以扩充本集团的力量。二子不负父命，结纳了大批的人才。自然，李家父子出众的秉质，以及他们拥有的实力，也使得许多在寻找出路的人才，乐意投奔到他们的营垒中来。
投奔而来的人才八仙过海，各以各的方式，积极地为李渊集团效劳，出谋划策。其中，最得力的是李世民交接的二人，一是晋阳宫副监裴寂，一是晋阳县令刘文静。刘文静有非凡的观察力，能洞若观火，看出李渊志在天下，又看出李世民是非常之人，由是倾心相结。然他因和瓦岗寨首领李密联姻的缘故，无辜受株连被捕下狱。李世民去探狱，他分析天下群雄四起，隋炀帝困于江都的形势后，献出了这样一计：于太原百姓中招募十万军队，会同原先数万军队，乘虚进入关中，号令天下，不用半年即可成就帝业。李世民首肯这是好计，通过裴寂，将此计转呈于李渊，遂定下了起兵的大略。
对于募兵，李渊分两步走。第一步，让释放出狱的刘文静伪造隋炀帝诏令：太原、西河、雁门、马邑凡二十至五十岁之间的丁男悉数为兵，于岁末集结涿郡，参加征伐高丽。这些地区的人本就厌烦高丽战争，由此更加惶恐不安，人心思乱。在达到预期的效果后，随之走第二步，趁马邑人刘武周杀太守王仁恭，自称天子，联合突厥，率众前来进攻太原之机，再次伪造隋炀帝让他自行募兵的诏令，顺利地募到了数量可观的兵员。
然而，太原的最高领导层并非铁板一块。副留守王威、高君雅二人仍在效忠隋朝，他俩看出李渊行将谋反的行迹后，准备采取突然袭击，逮捕李渊。李渊得到情报，让刘文静等人捏造出王、高二人“勾结刘武周与突厥”的罪行，先行将他们处死。当刘武周和突厥的军队兵临城下时，李渊打开太原所有的城门，以疑兵之计将来犯之敌吓得不战而撤。
尽管李渊具有一定的实力，然为了不至于分兵作战或腹背受敌，他采纳了刘文静之计，化不利因素为有利因素，暂向突厥始毕可汗称臣妥协。同年六月，李渊正式竖起举兵的旗帜。与此同时，他开置大将军府，自任大将军，裴寂为长史，刘文静为司马，下设左右三军：李建成为左领大都督，统左三军；李世民为右领大都督，统右三军。在出兵之前，大开粮仓，赈济穷困，赢得远近一片欢呼声。
进入炎炎的七月，李渊以四子李元吉为太原留守；命刘文静出使突厥，请求军事支援；自率大军三万从太原出发，走对角线向关中挺进。
开始十日无战事，在抵达灵石的贾胡堡后，五十里之外的霍邑（今山西霍县），已由杨侑派出的将军宋老生布下了防线。这是第一仗，关系到李渊军出师是否顺利的第一仗。可天公不作美，连旬瓢泼大雨，后方粮饷难以继运，前方道路泥泞三尺，李渊不得已下令部队暂作休整，以待天气变化，以待粮饷供应。但等了多日，雨仍不见止，刘文静迟迟未来，军中忽然传出流言，说突厥已生变卦，准备乘虚袭击太原，军心开始动摇。面前的仗不能打，大本营又可能面临危险，李渊犹豫了，再三思量后，欲放弃进攻关中，调转兵锋，北撤太原，并命令部分左军作为撤退的先头部队。这个决定，遭到了李建成、李世民的反对（在许多史料中，李建成反对的事实被隐去了，仅剩下李世民一人反对），兄弟俩认为，后撤是错误的，非但大业将毁于一旦，且前景更是令人担忧的。他俩苦谏、长谏，终于谏得李渊回心转意，收回了成命。
到八月初，天终于放晴。李渊发出向霍邑的进攻令，为了弱化对方高城严备的优势，他亲自上阵，以弱兵相诱，将宋老生诱出城来。贪功的宋老生中了计，倾其主力出城，欲一举消灭李渊军。双方接触后，李渊佯败，向后退却，待宋老生进入预设的伏击圈后，李世民、李建成以精骑夹击敌军，阵斩宋老生，全歼其部，随之攻克霍邑。
凯歌高奏，李渊军乘胜向前推进。途中，出使突厥的刘文静赶来，他顺利地完成了使命，以“人众土地归唐公，财帛金宝归突厥”的条件，争取了突厥政治与军事的双重支持，并带来了突厥助战的军队五百人及二千匹战马。
九月初，李渊军兵临杨侑设下的第二道防线——河东城（今山西永济西）下。河东城位于黄河东岸，为隋骁卫大将军屈突通所把守，他凭借坚固的城墙和险要的地理形势，把河东城守得固若金汤，并撤去了河上的浮桥及各种船只，阻止李渊军渡河。李渊争取到当地居民及义军的支持，得了些舟楫，组织敢死队绕城渡河。可敢死队遭到了屈突通的夜袭，溃不成军。李渊围城挑战，然屈突通坚壁不出；发动攻击，却损兵折将，陷入极为不利的境地。李渊望城兴叹之际，李世民、裴寂等人献计，主力溯河北上，从梁山（今陕西韩城东黄河中）、龙门（今山西河津西北黄河中）渡河入关；分兵继续围城，阻止屈突通追击。
形势豁然开朗，龟缩在河东城中的屈突通不得动弹，李渊率主力按计渡过黄河，进入三秦地界，受到士民的普遍欢迎。他命李建成、刘文静率部进屯永丰仓（今陕西华阴东），兼守潼关，扼制东向来援之敌；命李世民率部沿渭水经营，直取长安。
李世民的部队并非孤军深入，他的堂叔李神通、妹妹平阳公主与妹夫柴绍夫妇等人相继起兵，联络当地义军，成功地扫荡了长安以外的隋军据点和营垒，前来与李世民会师。随后，李建成挥部入关，李渊统军西上，形成了对长安的包围。
夺取长安，是一场大战。时李渊军已达二十万人，在关中形成绝对的优势。然辅助杨侑的刑部尚书卫文昇、右辅翊将军阴世师、京兆郡丞滑仪誓死不降，领导城内军民展开了长安保卫战。李渊下令攻城，经过血战，于十一月攻陷了长安城。此时杨侑已成傀儡，任凭李渊摆布，被戴上了空头天子的名号，改元义宁。李渊自任大丞相、大都督，都督内外诸军事，受封唐王，总理万机。
得到长安，并拥立了一个傀儡皇帝，李渊集团成了天下诸雄中极为显耀的一路，接下来的事情，便是如何发展壮大了。