（3）托名援邺，离石起兵
　　304年八月，东海王派系的司马腾、王浚率段部鲜卑、乌桓势力发兵进攻邺城。在邺带兵的左贤王刘渊见机再次请求返回左国城，愿以调发匈奴五部援助成都王司马颖，司马颖迫于形势之危急，采纳其建议而准其西还，并拜渊为北单于。
　　刘渊以召旧部援助成都王司马颖为由而回到并州离石，预谋已久的刘宣等推刘渊为大单于，于是起兵反晋（当时针对东海王势力[20]　），二十日之间就聚众五万，都于离石。东赢公、并州刺史司马腾向鲜卑拓跋猗迤求兵攻打刘渊，拓跋猗迤与弟拓跋猗卢联合在西河进攻刘渊，击败刘渊军，在汾东与司马腾结盟后回师。
　　（二）、左国城称王
　　永兴元年（汉元熙元年，304）十一月（也有系于“十月”的），刘渊从离石 迁于左国城（也在离石县），来归附的胡、晋人很多。为争得胡人政权的合理性，刘渊以“兄亡弟绍”复汉为名义，筑坛于南郊即汉王位（称汉王），大赦境内，改晋永兴元年为元熙元年，定国号为汉，正式建立政权。同时，追尊刘禅为孝怀皇帝，立汉高祖以下汉三祖五宗神主而祭之。立其妻呼延氏为王后。置百官，以刘宣为丞相，崔游为御史大夫，刘宏为太尉，其余拜授各有差。

　　304年十二月，晋并州刺史司马腾遣兵攻汉，双方大战于大陵（今山西省文水北），刘渊大胜，并遣刘曜等攻取上党、太原、西河各郡县。当时在青、徐二州的王弥，魏郡的汲桑、石勒，上郡四部鲜卑陆逐延，氐族酋长单征等人均拥刘渊为共主。刘渊命王弥、石勒等人攻取河北各郡县，并一度攻入西晋的重镇许昌，其兵锋进抵至西晋的首都洛阳城下。
　　（三）、刘渊称帝
　　永嘉二年（汉永凤元年，308）十月甲戌，刘渊在左国城正式称帝，国号仍为汉，大赦境内，改年号为永凤。以大将军刘和为大司马，封梁王，尚书令刘欢乐为大司徒，封陈留王，御史大夫呼延翼为大司空，封雁州郡公（？），宗室以亲疏为等，悉封郡县王，异姓以勋谋为差，皆封郡县公侯。

　　309年正月，太史令鲜于修之对汉主刘渊说：“不出三年，一定能攻克洛阳，蒲子地形崎岖，难以在这儿长久安居，平阳的天象正好昌盛，请把都城迁到那里。”刘渊采纳其建议，迁都平阳。宣布大赦，改年号为河瑞。
　　四月，晋左积弩将军朱诞投奔了汉国，详尽陈述洛阳守备薄弱的现状，并劝刘渊趁机发兵攻打。于是，命朱诞为前锋都督，灭晋大将军刘景为大都督，统军攻克黎阳（今河南省浚县东北），接着刘景又与晋将王堪战于延津（今河南省延津县北），又将其击败，而后下令将三万多男女投入黄河淹死。刘渊得之此事后愤怒地说：“景何面复见朕！且天道岂能容之！吾所欲除者，司马氏耳，细民何罪！”降刘景为平虏将军。

　　又派遣四子刘聪进攻包围洛阳。同年夏季，刘渊以王弥担任侍中、都督青徐兖豫荆扬六州诸军事，征东大将军、青州牧，与楚王刘聪合兵进攻壶关，以石勒担任前锋都督。刘琨派遣护军黄肃、韩述救援壶关，刘聪在西涧打败韩述，石勒在封田打败黄肃，将两人都杀了。晋太傅司马越派遣淮南内史王旷、将军施融、曹超带兵抵御刘聪等人。王旷军渡过黄河后，想长驱向前，施融反对说：“对方凭据险要、抄小路出击，我军虽有数万，仍是孤军受敌。应暂且以河水当作屏障等待形势的转变，再谋划攻击对方。”王旷听了发怒地说：“君欲沮众邪！”施融退帐外，说：“对方善于用兵，王旷却不懂战场情势，我等今天死定了！”王旷等人翻越太行山与刘聪遭遇，激战于长平地带，王旷所部大败，施融、曹超都战死。刘聪趁势攻陷屯留、长子，斩敌一万九千。上党太守庞淳献壶关而降。晋并州刺史刘琨以都尉张倚遥领上党太守，屯据襄垣。

　　（四）、石勒崛起
　　（1）投汉建功

　　永嘉元年（汉元熙四年，307），晋国马牧帅汲桑自称大将军，与石勒第二次起兵反对东海王司马越势力，声称要为上一年被杀的成都王司马颖报仇。汲桑以石勒为前驱，屡次取胜，于是署石勒为讨虏将军、忠明亭侯。石勒即随汲桑进攻邺城，担任前锋都督，大破冯嵩，并且长驱直进，五月攻陷邺城。汲桑在邺城杀司马腾和万多个兵民，焚毁邺城宫室和抢掠城中妇女珍宝后才离开。
　　石勒及后又跟汲桑进攻幽州刺史石鲜。石勒在乐陵击杀石鲜后又击败率五万兵营救石鲜的乞活军将领田禋，并与苟晞相持于平原、阳平之间数月，期间发生三十多场战事，互有胜负，逼令太傅司马越要率兵在官渡为苟晞声援。石勒和汲桑于九月大败给苟晞，于是收拾余众，打算投奔刘渊建立的汉赵，但又于赤桥败于冀州刺史丁绍，石勒于是逃到乐平。后汲桑更在乐陵被晋兵所杀。
　　石勒投汉赵后，于十月就成功令据守上党的<勹背>督和冯莫突归降汉赵，刘渊于是以石勒为辅汉将军、平晋王。后又因据守乐平的乌桓人张伏利度不肯加盟汉赵，石勒于是假称得罪刘渊而投奔张伏利度，并与他结为兄弟，与其胡人部众一同抢掠郡县，所向无敌，于是令众人畏服。石勒在众人心附自己后乘宴会抓着张伏利度，让部众推举自己为主。石勒随后释放张伏利度而率领其部众归附汉赵。刘渊于是加石勒为督山东征讨诸军事，并以这些胡人部众跟随他。

　　（2）侵扰河内
　　刘渊于308年派石勒领兵东侵。石勒于九月攻陷邺城，晋征北将军和郁逃走。十月刘渊称帝，授予使持节，平东大将军。不久石勒又率三万进攻魏郡、汲郡和顿丘，五十多个由当地人集结的壁垒望风归附，于是获假垒主将军、都尉印绶。后更杀魏郡太守王粹和冀州西部都尉冯冲，又击败并杀害乞活军将领赦亭和田禋。刘渊于是授予石勒安东大将军、开府。石勒及后于309年进攻巨鹿和常山，部众增加至十多万人，更加有文士加入，并以他们成立“君子营”，石勒以汉人张宾为谋主，刁膺、张敬为股肱。又因军事力量强大，在石勒派张斯游说之下，并州的胡羯大多亦跟从石勒。

　　刘渊后派兵进攻壶关，石勒后被任命为前锋都督，击破刘琨派来救援壶关的军队，助汉赵攻陷壶关。九月，晋司空王浚派祁弘与段务勿尘在飞龙山进攻石勒，石勒大败，退屯黎阳，但仍能分派诸将攻打未及叛变的部众，收降三十多个壁垒，并置守宰安抚。十一月，石勒进攻信都，杀害冀州刺史王斌。当时，王浚命裴整和王堪领兵讨伐石勒，石勒于是立刻回军抵御。石勒到黎阳后，裴宪抛弃军队逃到淮南，王堪则退守仓垣。刘渊于是授命石勒为镇东大将军，封汲郡公，石勒辞让封爵。

　　永嘉四年（汉河瑞二年，310），石勒南渡黄河，攻陷白马后与王弥一同进攻徐、豫、兖三州。不久更攻下鄄城和仓垣，并北渡黄河进攻冀州诸军，投降他的平民多达九万多人。及后又协助刘聪等人进攻河内，并进攻冠军将军梁巨，晋怀帝派兵援救。梁巨仍因兵败请降，石勒不许，最终坑杀一万多名降卒并杀死梁巨，援兵亦退还。此战令河北各个自守的堡垒都震惊，纷纷送人质到石勒处。