匈奴族的部分南迁，在东汉初年就已经开始了。光武帝建武二十六年（公元50年），汉因南单于与北匈奴交战失利，便将他移居西河美稷（今内蒙古准格尔旗西北）。汉末灵帝中平五年（188年），於扶罗做了南单于。次年，他乘天下大乱之机，攻略河东（今山西西南部）郡县，就此便驻屯平阳（今临汾西南）一带。献帝兴平二年（195年），外戚董承请右贤王帮他与李傕、郭汜作战，匈奴骑兵乘势在今陕、晋等地大肆掳掠，蔡邕的女儿蔡琰（蔡文姬）就是在这时候被掳去的。於扶罗死后，兄弟呼厨泉做南单于。献帝建安二十一年（216年），呼厨泉入朝，曹操把他留在邺中，又把南匈奴的人众分为五部，选拔其中的贵人做首领。五部分居并州各郡后，匈奴族的居住地已不再限于晋西南一隅，而扩至北部新兴（即今山西忻州一带）。
曹操任命的北部帅，是於扶罗的儿子刘豹，他就是本篇要说的刘渊的父亲。匈奴贵族曾以匈汉和亲为由，说自己是汉朝皇帝的外孙，用外祖父的姓为姓。匈奴人用刘姓，是匈奴族逐渐汉化的标志。刘豹似是第一个有史为据的采用汉姓的匈奴人。
刘渊字元海，生于魏嘉平年间（249—254年）。他师事上党（今山西长治）名儒崔游，学习《易》、《诗》、《书》等典籍，尤其爱好《春秋左传》、《孙子兵法》，并能熟读成诵，同时也读过《史记》、《汉书》和诸子百家，因此是个大知识分子。但他也长于武事，膂力过人，善于射箭。他非常自负，曾说“常鄙随、陆无武，绛、灌无文。”随何曾为汉高祖游说西楚九江王英布，使之降汉；陆贾曾为汉高祖说服南越赵佗，使之对汉称臣，又以“不能于马上治天下”的著名论点，促使高祖深思存亡之故。这两人是汉初的著名辩士，绛侯周勃和灌婴则是汉朝的开国名将。刘渊要兼有随、陆、绛、灌的长处，其自负之高，可以想见。
曹魏亡国前夕，刘渊到洛阳做“任子”（人质），很受司马昭的优待。晋武帝时，有人推荐刘渊可任灭吴的元帅，后来又有人说他可以担当镇压树机能的重任。两次都因为是匈奴人，“非我族类，其心必异”，遭到强烈的反对而作为罢论。他知道后，颇为不满。为此，齐王司马攸竟劝武帝杀他以除后患。其实，晋朝若不内乱，刘元海也只图建立功名，不会别有野心。
刘渊在晋廷一直担任左部帅、北部都尉、五部大都督等治理本族人的职务，晋廷也曾封他为将军，但这仅是徒具名义。他实在是个投闲置散的豪杰之士。
“八王之乱”造成的混乱局面，使若干匈奴贵族想乘机崛起，刘渊的叔祖、原北部都尉刘宣是其中的代表人物。他们对“自诸王侯，降同编户”（贵族落到了平民百姓的地位）的处境耿耿于怀，认为“司马氏骨肉相残”，是匈奴人“兴邦复业”的大好时机。他们秘密商定，推举刘渊为大单于，随即派人到邺，向刘渊汇报。其时，成都王颖正把刘渊留在邺中，要他为自己效力。刘渊一时无法脱身，只得命使者返回，并带信要刘宣等再纠合胡人，诈称响应成都王，实则为起事作准备。
晋永安元年（304年），王浚与东瀛公司马腾起兵反成都王颖。幽并二镇声势浩大，成都王兵力不济，难以应付。刘渊抓住这个机会，自告奋勇向成都王请命，愿意发匈奴五部之众，助他平定二镇。当时成都王颖求援不得，病急乱投医，就放他回去了。不过，当时刘渊并不希望成都王失败。临行前劝他必须坚守邺城，说“殿下一发邺宫，示弱于人，洛阳不可得而至；虽至洛阳，威权不复在殿下也”。这不失为临别寄语。后来成都王仓皇离邺，果然一败涂地，事实证明了刘渊的先见之明。
刘渊回到左国城（今山西离石东北，即匈奴左部驻地），刘宣等人立即拥护他做了大单于，建都离石，二十天工夫，便已聚众五万。他随即派出五千骑兵，象征性地去支援成都王的部将王粹。但匈奴兵还没有到，王粹已被东瀛公腾打败，带兵的将官刘宏就以支援不及为借口撤了回来。刘渊得知成都王放弃邺城后，也曾表示，“我答应过他，不可以不救。”但刘宣等不赞成，他也就算了。其实，刘渊的表态，多半是做给部下看的，以示其待人诚信，意在训导部下，对他必须忠诚。
晋永兴元年（304年）十月，刘渊在左国城建庭称汉，自称汉王，改元元熙，并追尊蜀汉后主刘禅为孝怀皇帝。这种做法表明，刘渊与刘宣等其他匈奴贵族的观念很不相同。
刘宣等人是一心要“复呼韩邪之业”，而刘渊却说：“呼韩邪何足效哉！”他要做的事是，“上承汉高之业，下不失为魏氏。”他心目中的英雄是刘邦、曹操。他的头脑很清楚，知道如是亮出匈奴旗号，“晋人未必同我”（未必会受汉人拥护），所以才决定利用曾有的匈汉和亲关系，“且可称汉，追尊后主。”他还以臣属口吻发表文告，从“我太祖高皇帝（刘邦）”说起，历叙两汉盛衰，而且为了表示尊汉，不仅痛责自己心目中的偶像曹操，也对昭烈（刘备）未能完成复兴大业深表惋惜。他要重建汉朝，即是要在“宗庙不血食四十年”之后的今天，“绍修三祖（刘邦、刘秀、刘备）之业”（上述引文均见《晋书·载记一》）。由此可见刘渊是一个极有政治头脑的高明人物。
刘渊建国之初，离石饥荒，晋并州刺史刘琨又已据有晋阳（今山西太原西南），汉要向南发展，并不容易。
晋怀帝永嘉元年（307年），石勒、王弥、刘灵等率部来投，刘渊的实力又有所增加。在此，需要先说一说这几个人的来历。
公元4世纪初，天下处处发生战乱。石勒是在“八王之乱”的末年涌现出的一位豪杰之士。他是羯人（羯，匈奴的别部），家居晋南的上党武乡（今山西榆社西北），原名㔨，字世龙（这当然是发迹后起的）。他的父亲和祖父据说都曾做过部落中的小头目，这是否属实，无法查考，但他年轻时很贫苦，倒是实情。晋太安年间（302—304年），并州饥荒，东瀛公腾为筹措军费，抓胡人卖给人家做奴隶，三十岁左右的石勒也未能幸免。他与人合戴一枷，被押到茌平（今山东东阿西北），卖给师懽做奴隶。不久，他结识了牧马场的头儿汲桑，又招集桃豹、逯明等相与落草，其时共有八人，叫做“八骑”，后又增加十人，改称“十八骑”。
永兴二年（305年），成都王颖的旧将公师藩起兵，石勒和汲桑纠合数百人，带上牧马场的马匹，前去投奔。石勒的名字便是公师藩为他起的。公师藩后被兖州刺史苟晞打败杀死，石勒和汲桑流亡逃窜，再次落草，不久他们又纠合众多亡命之徒，自己组建了一支部队。永嘉元年（307年），他们竟打开邺城，杀死新蔡王腾（即东瀛公，后进封为王），但很快又被苟晞打败。他们收拾残部，要去投奔刘渊，但途中却被晋军打散。此后，汲桑被“乞活”（流窜求食物的难民武装）诸将所杀，石勒则投到了刘渊麾下，从此成为他的一员得力部将。
王弥与石勒不同。他是东莱（今山东莱州）人，其祖与父都曾官至太守。他既有谋略，也膂力过人，但在官宦之家，却是个不肖子弟。惠帝末年，他率领家僮，跟着“妖贼”刘伯根造反。刘伯根失败后，他上长广山落草，在青州一带，号称飞豹。他曾纠合数万之众，在今山东、河南境内流窜劫掠，一旦被打得溃散了，便潜伏下来，再收亡命之徒，以期卷土重来。刘灵是阳平（今山东莘县）人，出身贫苦，勇猛过人，力能制服奔牛，跑可与快马争先。公秉藩起兵后，他纠合一批人马，自称将军，在河北以劫掠为生。晋永嘉元年（307年），这两支人马被官军打败后，两人沆瀣一气，决心投靠刘渊。派人前去联系后，刘渊当然很愿意接受，分别给他们封了官。随之，刘灵去了刘渊那里，王弥则仍在中原重整部伍。
在永嘉二年（刘渊元熙五年，308年）以前，刘渊的兵力并没有较大发展，加以离石饥荒，处境极为困难。他的侍中刘殷、王育两人认为，危困之时，应大举出兵，攻下晋阳，消灭刺史刘琨，再南向占领河东（河东、平阳两郡，今晋南），建立帝号；渡过黄河后，即取长安为都，再以关中之众，东进直取洛阳。刘渊听后认为可行，即于当年年初派刘聪等人南据太行，石勒等人东下赵、魏（即河北方面）。但半年过完后，两路人马都没有什么战绩，倒是王弥在中原整顿恢复后，打得有声有色，且攻略青、徐、兖、豫四州（相当于今山东全省，河南省的黄河以南部分、江苏、安徽两省的北部），破城杀官，让有“屠伯”之称的青州刺史苟晞十分头疼。五月，王弥打到洛阳城外，在被晋朝援军打败后，逃走前还放火烧建春门，又与追兵恶战一场，才撤到黄河以北，往晋南去和刘渊会合。
刘渊南进策略，到七月中才有所获，即攻克了平阳郡的治所平阳（今山西临汾西南）。随即，他迁都蒲子（今山西隰县），于十月中即位称帝，改元熙五年为永凤元年。次年正月，又迁都平阳，改元为河瑞元年。
现在回头再说河北的战况。秋冬间，石勒与王弥联合行动，九月进至邺，守邺的征北将军和郁弃城而逃。以后，石勒又与刘灵合作，攻略魏郡（治邺，此指属县）、汲郡（治今河南卫辉西南）、顿丘（治今河南清丰西北）三郡，百姓五十余垒都望风而降。这几郡在今冀南、豫北一带，久经战乱，成都王颖覆亡以后，晋朝的统治力量薄弱，社会秩序混乱，居民为求自保，建立了许多村寨堡垒，但若遇强敌，除了投降，别无出路，所以石勒、刘灵进展得非常顺利。
汉河瑞元年（晋永嘉三年，309年），刘渊得到降将朱诞的报告，知道洛阳空虚，很想尽快攻下洛阳，但在当时，他却不能不以上党郡（即今晋东南地区）为其用兵重点。因上党就在都城平阳之东，那里仍受晋并州刺史刘琨的管辖。所以刘渊必须攻占这一地区，才能保证平阳的安全。至于渡黄河南下进攻洛阳，则更须取得上党，才能打开进兵的道路。这年上半年，他即派刘聪、王弥攻上党。刘琨处境困难，不敢轻离重地，但也派兵去救。洛阳的东海王越也派王旷率数万之众，渡河北上救援。刘聪、王弥先后打败这两次援军（《晋书·载记四》和《通鉴》卷八七都说石勒做刘聪的前锋，按石勒其时已有兵十多万，在河北的巨鹿、常山一带，即今河北省中西部发展，恐怕不可能去做刘聪的前锋都督），又相继攻克屯留、长子，逼得上党太守庞淳不得不献出壶关投降。之后刘琨虽命张倚再领上党太守，但其实只据襄垣一城，上党郡的大部分都已为刘渊所有了。
可进攻洛阳就没有这么顺利。
早在上党战前，刘渊已有一次尝试。他任刘景做灭晋大将军、大都督，用降将朱诞做前锋，要他们先在洛阳以东几百里的黎阳（今河南浚县东）突破黄河，再寻南下之机。刘景领命后，一举攻克黎阳，又占领了黄河的重要渡口延津（在今河南延津县西北）。他在这里犯了个大错误，竟把三万多男女百姓赶到河里淹死。刘渊得讯，大为光火，说：“我要铲除的是司马氏，百姓有什么罪！”他立即把刘景降职，战役也就此中止了。
上党战役结束后，刘渊就可以用主力攻洛阳，也无需从东面迂回了。八月，刘聪等向洛阳进军。他走的是晋西南黄河对岸的路线（大体上相当于今陇海铁路潼关、洛阳段），也是走最直捷的路线。刘聪开头打得很顺利，很快就推进到宜阳（今河南宜阳西）。九月，他因轻敌，被晋军袭败。这是一打洛阳。同年十月，他又发动第二次进攻洛阳的战役。这时刘聪、王弥、刘曜、刘景也都赶来助阵。兵到洛阳城下，眼看大功即将告成时，部将呼延翼、呼延颢、呼延朗先后阵亡；加以由于道路狭仄，又遭晋军阻击，陕县后方的粮车无法前进，刘聪无奈，只得发令退兵。两仗如此结局，看来汉要灭晋，暂时还做不到。
刘渊等不到胜利之日，即于河瑞二年（晋永嘉四年，310年）去世，时年约六十，太子刘和嗣位。刘和没有带过兵打过仗，兄弟刘聪却久握兵权，他们两个如何能够相处。刘渊尸骨未寒，刘和就想解决刘聪，但力量不够，反而被刘聪杀了。刘聪夺了帝位，改元光兴。他在位时，攻陷洛阳、长安，灭掉西晋（详见第八篇）。东晋大兴元年（318年），刘聪去世，其子刘粲嗣位。刘曜（刘聪堂兄弟）又夺了堂侄的帝位，还把国号改称为赵，历史上称为前赵。
刘聪、刘粲、刘曜都远不及刘渊。刘渊谴责刘景滥杀百姓的暴行。刘聪、刘粲却都荒淫残酷，刘曜与他们也不过五十步与百步的区别。他们凭着武力，乘晋朝衰弱的时机，能够得逞于一时，但是无法维持较长的国祚。这些情况，本篇只简略地作一交待，后文将另作补充。