卢芳于建武十三年(37)逃入匈奴，此后多次引导匈奴骑兵南下，侵扰上党、扶风、天水、上谷等郡。天下初定，东汉朝还没有实力大规模对外用兵，光武帝遂调动兵马，“固塞以拒匈奴”，也即采取消极防守策略。直到建武二十四年(48)，匈奴分为南、北二部，形势才开始发生变化。
匈奴首领原为呼韩邪之子舆，称呼都而尸道皋单于，他封自己的侄子、前代乌珠留单于之子比为右日逐王，管领南方八个部族和东面的乌桓族。呼都而尸道皋单于死后，传位于其子乌达鞮侯单于，乌达鞮侯单于死后，传位于其弟蒲奴单于。比期盼着单于的宝座能够落到自己头上，多次失望以后，遂暗中联络汉西河太守，请求内附。因为事机不密，消息泄露，比干脆率所部4、5万人归降了东汉朝。
建武二十四年(48)春，匈奴南方八部大人共立比为单于，因为比的祖父呼韩邪单于稽侯珊曾经归附西汉，所以他也自称为呼韩邪单于，匈奴正式分裂。光武帝闻讯大喜，于是重重封赏这个新的呼韩邪单于，还设置“使匈奴中郎将”一职，以监视之和保证联络，要他保障东汉朝北部边境，阻止北匈奴南下侵扰。
北匈奴蒲奴单于得到消息，大为恐慌，遂多次派遣使者到雒阳来请求和亲——北方边患至此基本停息。
南匈奴于建武二十六年(50)被允许迁居到西河美稷(今内蒙古伊盟东胜附近)一带，此后北地、朔方、五原等北方诸郡，到处都可以看到匈奴人的身影。这是匈奴族进入中原地区，和汉人杂居并逐渐融合的开端。
