到了东汉年间，匈奴分裂为两部，一部为北匈奴，继续地留在大漠之中，另一部为南匈奴，向南迁居，进入到了并州西河一带，与汉人杂居。中平年间，刘渊的祖父于扶罗称单于，趁着董卓叛乱，中原一片混乱之际，起兵攻略太原、河东、河内，劫掠无数，势力渐大。
于扶罗死后，其单于之位被其子呼厨泉继承，于扶罗的另一个儿子刘豹被封为了左贤王，而刘豹就是刘渊的父亲。
后来曹操一统北方之后，深感匈奴人的势大，唯恐其作乱，趁呼厨泉入朝觐见的机会，将他扣押在邺城，不再放还，同时将呼厨泉所部分为五部，分而治之，以此来分化匈奴人的势力。刘豹被封为左部帅，统御匈奴左部。
为了控制匈奴各部，魏国朝廷一直都有要求匈奴各部派世子前来洛阳做人质的传统，刘渊做为刘豹之子，理所当然地成为了人质，一直长期地居于洛阳。
长期在魏国的都城之中留驻，刘渊饱受汉文化的熏陶，让这个看起来悍猛无比的匈奴汉子学识才华都突飞猛进，成为文武兼修的奇才。刘渊身高八尺三寸，极是魁梧健硕，仪容非凡，他膂力惊人，善使三石强弓，练得一手骑射绝技，能左右开弓。
正是因为他的武艺超群，洛阳事变最紧急的关头，王济向司马炎推荐了刘渊。当时情况万分紧急，司马炎看到刘渊挺身而出，立刻应允刘渊为上党太守，出晋王宫应战叛军。
虽然刘渊极其地勇武，
