战国时候，匈奴人已经在北边草原地区崛起。
秦始皇执政时，传言“亡秦者胡也”。据说这是预言秦二世胡亥亡秦的谶语，秦始皇却以为“胡”指匈奴，于是加强北边防务，修筑长城，以蒙恬率重兵控制了战略要地，又开通了纵贯南北的国防道路“直道”。
汉王朝建立之初，经济残破，民生艰辛。
在这一时期，秦时已经兴起的匈奴部族的势力逐渐强大起来，所控制的地域包括贝加尔湖以南辽阔的草原大漠。在秦末中原大战期间，匈奴乘机尽数收回了秦将蒙恬所占领的匈奴地方，又进入长城以南，至于朝那（今宁夏固原东南）、肤施（今陕西榆林南），同时出兵侵掠燕国和代国。楚汉战争时，中原疲于征战，无力北防，匈奴于是日益强盛，军中勇士竟然多达数十万，对新生的西汉帝国形成了严重的威胁。
韩王信徙封于代之后，以马邑（今山西朔县）为都。匈奴南下进军，猛攻马邑，韩王信投降匈奴。匈奴又发军攻太原郡，兵临晋阳（今山西太原南）城下。刘邦于是亲自率军北击匈奴。
时值冬季严寒，士卒多有冻伤堕指者。匈奴单于冒顿佯败，引诱汉军北上。汉军三十二万追击。刘邦先到平城（今山西大同东北），主力尚未抵达，匈奴精兵四十万骑将刘邦围困于平城东北的白登。在匈奴骑兵铁围之中，汉军指挥中枢七日没有能够与汉军主力取得联系，也无法得到后勤补给。后来据说用陈平之计，贿赂单于阏氏，让她说服单于解围之一角，刘邦才终于脱逃，得以与主力会合。匈奴退军，刘邦也引兵南返。
此后，汉与匈奴结和亲之约，相互约为兄弟。汉以宗室公主为单于阏氏，每年给予匈奴织品酒米食品各有定数。不过，匈奴仍然时时南下侵扰代（郡治在今河北蔚县东北）、云中（郡治在今内蒙古土默特左旗东南）、上谷（郡治在今河北怀来东南）等郡，使北边地区社会经济生活难以安定。
在刘邦时代，还屡有汉将因个人政治地位的变化而叛降匈奴，成为匈奴南侵的向导和前锋。实际上，在汉武帝以前的数十年内，汉王朝不得不对强悍的匈奴委曲求和。甚至吕后专政时，匈奴单于致信吕后，有调戏侮辱之词，汉人也只能假装看不见。