自从西汉末年起，有一部分匈奴人分散居住在北方的边远郡县，他们和汉族人相处久了，接受了汉族的文化。匈奴贵族认为上代多次跟汉朝和亲，是汉朝皇室的亲戚，后来就改用汉人的姓—刘。八王混战开始后，匈奴部落里一些贵族们在左国城（今山西离石北）开会商议，有个老年贵族说：“我们匈奴从汉朝开始跟汉人结为兄弟。经过魏、晋两个朝代，匈奴单于后代虽然有封号，却没有自己的尺寸土地，跟一般百姓没有什么两样。现在晋朝发生内乱，自相残杀。这正是我们匈奴人恢复地位的好时机啊！”刘渊说：“要灭掉晋朝，还不是像摧枯拉朽一样容易，但是晋朝的百姓未必会向着我们。我看汉朝立国的年代最长，在百姓中影响大。我们的上代又是汉朝皇室的兄弟。现在汉朝亡了，我们用继承汉朝的名义，也许可以得民心。”刘渊称汉王后，很快攻下了上党、太原、河东、平原等几个郡，势力越来越大。一些势力比较小的各族反晋力量也都来归附刘渊。后来刘渊死去，他儿子刘聪接替做汉国皇帝，公元311年，洛阳城终于被攻陷，晋怀帝做了俘虏。公元316年，刘聪攻下长安。西晋王朝维持了五十二年，终于灭亡。