东汉以来，我国北方和西北方的匈奴、鲜卑、羯、氐、羌等少数民族，陆续迁到长城以内和黄河流域一带居住。匈奴人居住在山西中部和南部。鲜卑人的慕容部在魏、晋时入居辽西和辽东；另一些鲜卑人则在陇西与汉人杂处；羯人是入塞匈奴一支的后裔，散居在山西东南部的上党郡(今山西襄垣东)；氐人住在甘肃东南部，后来有一部分迁到陕西和甘肃东部；羌人分散在关中诸郡，与汉人杂居。到西晋时，由于内迁各族长期与汉族交往，逐渐走向定居的农业生活，但大多保留部落组织，在很大程度上保留着自己民族的语言和习惯。
西晋统治阶级对入迁的少数民族进行残酷的经济剥削和政治压迫。他们强迫少数民族人民交纳重税，服兵役、徭役，甚至把少数民族人民掠卖为奴。西晋世族就多买鲜卑慕容部妇女为婢妾。羯人也曾被并州刺史司马腾大规模捉去，两人一枷，押到冀州出卖。各少数民族人民不断进行斗争，以反抗西晋统治阶级的剥削、压迫。
西晋统治阶级在自相残杀的内乱中，受到极大削弱。各少数民族贵族趁机利用各族人民对西晋政府的仇恨，纷纷起兵反晋。西晋灭亡后，在我国北方，各少数民族和汉族贵族先后建立了十几个割据政权，进行了长达一百多年的混战，直到公元439年，北魏统一北方，这种局面才告结束。历史上把这一时期称为十六国时期。
最先起兵反晋的是匈奴族的刘渊。魏晋以来，内迁的匈奴族被分为五部。他们自认是汉朝的宗亲(汉时匈奴与汉朝皇帝联姻)，故而改为刘姓。刘渊是匈奴族中屠各族一支的贵族。他曾向儒生崔游学习经书，博览《史记》、《汉书》、诸子书，尤好《孙子兵法》，接受汉族文化较深。晋惠帝时，刘渊被封为建威将军、匈奴五部大都督。公元304年，他利用晋室内乱机会，回到左国城(今山西离石东北)，召集部众五万人，起兵反晋，建立汉国。不久，建都平阳(今山西临汾)，自称皇帝。他为了笼络汉族地主支持自己，宣告匈奴刘氏是两汉刘氏的外甥，祭三祖(汉高帝、汉光武帝、汉昭烈帝)五宗(汉文帝、汉武帝、汉宣帝、汉明帝、汉章帝)，不祭匈奴单于。汉国建立后，刘渊连年派儿子刘聪、部将石勒、晋世族出身的王弥等，进攻西晋都城洛阳。公元310年，刘渊病死，刘聪做了汉国皇帝。次年，他派族人刘曜和石勒攻陷洛阳，俘虏晋怀帝，杀晋王公、士民三万余人，并纵兵在洛阳大肆焚掠，致使一度繁荣的洛阳城化为灰烬。晋怀帝被杀以后，晋愍帝即位长安。公元316年，刘曜又攻破长安，晋愍帝投降，西晋灭亡。
公元318年，刘聪死。次年，刘曜自称皇帝，建都长安，改国号为赵(前赵)。石勒也自称赵王，都襄国(今河北邢台)，建立后赵。接着，刘曜和石勒互相攻杀起来。公元328年，石勒俘虏刘曜，灭掉前赵。
石勒，上党羯人，祖父、父亲和他自己都做过部落的小帅。石勒年轻时，做过汉族地主的佃客。晋惠帝末年，并州荒乱，他和本族人出外逃荒。并州刺史司马腾“两胡一枷”，掠卖羯人为奴隶时，石勒也被掠卖到山东荏平地主师欢家作耕奴。后来获得解放，仍然为人佣工。石勒的早年生活，突出反映了西晋时期羯族人的困苦悲惨境遇。刘渊起兵后，石勒和牧人汲桑也共同起事。他们的基本群众是牧人、囚犯和逃亡山泽的农民。石勒为晋军打败后，归附刘渊，成为刘渊部下的大将。石勒对晋世族极端仇恨，在作战中，凡俘获二千石以上的晋官，几乎全部杀死。公元311年，他率兵包围了从洛阳逃出的西晋王公、贵族、大臣和军队，用骑兵围射屠杀，十几万人无一幸免。
石勒在建立后赵过程中，逐渐改为实行拉拢汉族地主政策，不少晋的失意士人和下级世族被吸收参加后赵政权。他十分信任汉族失意士人张宾，对他言听计从，用为谋主。为了维持自己的统治，石勒在赵国内注意“核定户口，劝课农桑”，并大力提倡经学，设立太学，修改九品中正法，用考试和保荐的途径，选拔官员，实行一套汉族封建统治的办法。
尽管如此，后赵的民族压迫仍非常严重。石勒以羯人为国人，禁人使用“胡”字，信用羯人作统治骨干。羯人可以仗势横行，抢掠了汉族人民，包括抢掠了汉族世族可以无罪。这就使赵国的民族矛盾十分尖锐。
公元333年，石勒死，养子石虎继承皇位。石虎是一个非常残暴的家伙。公元335年，他迁都邺城，大兴土木，役使人民四十多万为他兴造宫殿。石虎昼夜荒淫，大量掠取民间妇女，后宫妇女竟有十万余人。石虎的残暴统治，激起各族人民的反抗，梁犊领导的雍凉戍卒起义，在各族人民的支持下，曾攻下长安，发展到四十多万人。
公元349年，石虎死，诸子争夺皇位，互相残杀。次年，由石虎养孙汉人冉闵灭掉后赵，自称皇帝，建立魏国。冉闵利用汉族人民对羯族统治者的憎恨，残酷屠杀羯人。史书记载，一日之内，杀死羯人数万，前后被杀死的羯人有二十余万。甚至有些人只是因为鼻子高些，胡须多些，也被当作羯人杀死。各族统治阶级的民族压迫，给各族人民带来了巨大灾难。
与此同时，在我国北方建立的割据政权还有：汉人张氏在甘肃东部、宁夏和新疆东部建立的前凉；鲜卑慕容氏在辽西、辽东建立的前燕；氐族苻氏以长安为中心建立的前秦；鲜卑族拓跋氏在今内蒙中部和山西北部建立的代。西南地区还有李雄在四川建立的成汉。
公元376年，前秦皇帝苻坚先后灭掉一些割据政权，统一了整个北方。
前秦是氐族贵族苻健建立的。公元355年，苻健死。两年后，苻坚杀死苻生，自立为帝。苻坚是一个有作为的皇帝。他对出身贫寒的汉族士人王猛非常信任，自比刘备得遇诸葛亮。在王猛的辅佐下，秦成为一个政治上比较清明，国力较为强盛的国家。淝水之战失败，前秦瓦解，北方重新陷入了割据混战的局面。
淝水战后，北方先后出现的割据政权有：在前燕旧境内的后燕(鲜卑族)、南燕(鲜卑族)、北燕(汉族)，在前秦旧境内的后秦(羌族)、西秦(鲜卑族)、夏(匈奴族)；在前凉旧境内的后凉(氐族)、南凉(鲜卑族)、北凉(匈奴族)、西凉(汉族)。
连同淝水战前出现过的割据政权，我们概括一下就是：成汉、二赵(前、后)、三秦(前、后、西)、四燕(前、后、南、北)、五凉(前、后、南、北、西)和夏，总共十六国。另有，西燕、冉魏和代(北魏的前身)，一般说法不包括在内。
十六国时期，在我国历史上是一个分裂割据，十分混乱的时期。各族人民在各族统治者的连年战争中，遭受了巨大灾难。但是，这一时期内，各族人民从边境入居内地，加强了和汉族人民交往，促进了互相融合。十六国时期，连同以后的北魏时期，所出现的我国各族人民的一次大融合，在我国统一的多民族国家发展的过程中，起着十分重要的作用。