关于匈奴的族源问题，太史公在《史记》中曾这么记载，“匈奴，其先祖夏后氏之苗裔也，曰淳维。”也就在这一句的下面，后代史家注释了那么一条，“夏桀无道，汤放之鸣条，三年而死。其子獯鬻妻桀之众妾，避居北野，随畜移徙，中国谓之匈奴。”大意是夏朝被商汤推翻后，其末代君主桀被放逐，其子淳维不愿臣服，遂带着父亲的一众妃嫔跑到了北方草原，过起了游牧生活，此即为匈奴的始祖。不过，近现代许多史学家并不同意这种说法。于是乎，商代的鬼方、周代的猃狁、春秋的山戎，战国的义渠，都被列入了讨论名单。其实，这种因年代久远和史料极度缺乏造成的史学疑问，在没有相关文物出土之前，是很难找到确切答案的。不过，有一点却是史学界公认的：匈奴的龙兴宝地即是今阴山河套一带。这里草木繁盛又多禽兽，加之气候温和，使匈奴的游牧业得到了很大的发展。西汉文学家刘向在《说苑》中记载了这么一条史料，公元前312年“匈奴驱驰于楼烦之下”。由此可见，彼时匈奴的实力已经超过了同样游牧在河套地区的楼烦人。于是，受到攻击的楼烦人为了躲避匈奴的兵锋，随之向东侵入了赵国。
当时，赵国的军事力量主要由步兵和战车混合组成，其官兵穿的是宽袍战衣，故而和骑术精湛且装束简便的少数民族骑兵打起来常处于下风。内有诸侯蚕食、外有戎狄欺凌，赵国君主武灵王不甘坐以待毙，遂于上台后推行了震惊天下的“胡服骑射”，终于训练出了一支精锐骑兵。以后的历史耳熟能详，变法后的赵国锐意扩边，很快便取得了攻灭中山、驱逐楼烦等河套诸部的战绩。此后，赵国开始和匈奴本部直接接壤，摩擦亦随之而来。或许是赵人觉得匈奴的战斗力超过了以前的楼烦，因此后来他们在新建制的云中郡和雁门郡修建了内外两道长城。但即使如此，那些匈奴人也常凭着熟悉地理的优势绕过长城，对赵国边境进行掠夺。这种频繁的骚扰持续了数十年之久，直到一位叫李牧的赵国大将出现为止。
总结起来，李牧对付匈奴就是八个字：坚壁清野，拒不出战。因为他知道匈奴人逐水草而放牧的游牧经济是粗放而不稳定的，在很大程度上只是利用自然而不是像农耕文明那样改造自然。所以，一遇到风灾雨雪和严寒瘟疫，牲畜便会大量死亡。若长时间得不到掠夺物资的补给，其经济便会萎靡。当然，掠夺的欲望也会成倍增加。所以，李牧当下要做的就是在严加训练士兵的同时加强对匈奴国内的侦察。公元前265年，李牧见时机已到，遂发起了反击之战。史料记载，李牧为引诱匈奴来袭，放出了漫山遍野的牛羊牲畜。看管这些牛羊的，还有不计其数的百姓。穷疯了的匈奴人听说后倾巢而出，结果却陷入了16万赵军精锐的重重包围。《李牧列传》说，赵军这次歼灭的匈奴骑兵有十余万。这份战报有多少水分如今不可考证，但给匈奴造成的打击却是极其沉重的，以至于匈奴此后十余年不敢入塞掠夺。不过，这种情况很快随着赵国的灭亡而发生了改变。
公元前222年，在头曼单于的带领下，匈奴人再次返回了河套。可好景不长，匈奴返回河套不到7年，兼并六国的秦王朝便出动了三十万大军开向了阴山。头曼单于不敢抗衡，乃率本部向北撤了七百余里。失去了肥美的河套草原，加上东边的东胡、西边的月氏、北边的丁零不断挤压匈奴的生存空间，使许多匈奴贵族对这位武力不振的单于渐渐产生了不满。209年，秦帝国因滥用民力导致农民起义，北塞的秦军奉命返回中原平叛，使阴山河套的守备空虚不少。北徙的头曼单于闻讯大喜，遂带领部族重返河套。或许头曼单于还记得秦军的赫赫军威，所以他只是稍微南下了一点，并未完全收复河套失地。这样一来，匈奴贵族们再也不能忍耐，他们遂抛弃了头曼，默认了头曼长子冒顿的军事政变。史料记载，单于冒顿上台后先是处决了反对者，然后又用骄兵之计袭破了强大的东胡和盘踞河西走廊的月氏及贝加尔湖一带的丁零、游牧河套的楼烦，甚至重新夺回了秦帝国侵占的河套草原。于是，一个前所未有的草原大帝国就此成型。说它前所未有，不单是因为它结束了草原自古以来群雄割据的战国时代以及控弦三十余万的军事实力，还因为它加强了以单于为统治核心的政治组织并确立了稳定的继承制度。