蒙古兴起后，成吉思汗统一漠北各部，并向南、向西征伐。他以及他的子孙在之后半个世纪里，几乎征服了已知世界的三分之二，蒙古疆域扩张到天下大部分地区。
为了维持黄金家族的统治，成吉思汗以及他的孙子薛禅汗（忽必烈），将所征服的土地分别封赐于诸宗室亲王及功臣后代。
而在今天的大兴安岭东部及黑龙江以南，西拉木伦河、老哈河流域，临近蒙古本土的地方，则被先后赐封与成吉思汗的二弟哈撒儿、幼弟斡赤斤、异母弟别勒古台、侄儿勒只带、大将木华黎后裔等蒙古贵族统领，成为他们的兀鲁思（人民、领地、国家的意思）。
之后，这些地方的蒙古部族逐渐形成了即翁牛特部、乌齐叶特部，科尔沁部、喀喇沁部等半独立的部落。
元末，占据中原的元朝政权崩溃，元顺帝弃守大都，北逃返回蒙古高原，原先向元朝臣服的辽东诸部则趁机自立，在木华黎后裔纳哈出的带领下，割据于辽东，名义上为北元臣子，其实已经自立为王。
明洪武二十年（1387年），明太祖遣冯胜、傅友德、蓝玉率大军北征北元，割据辽东的纳哈出不敌明军，被迫投降，洪武二十一年（1388），北元大汗脱古思帖木儿被明军蓝玉部击败于捕鱼儿海（内蒙古贝尔湖），仓惶逃窜，最后死于蒙古贵族的内讧中。
明朝至此恢复对辽东的统治。在纳哈出投降后，大兴安岭东西的各蒙古部族无法抵抗明军，只得不情愿地向明朝臣服。
洪武二十二年（1389），明朝在辽东及其北方区域归附蒙古人部落设立了朵颜、泰宁和福余三个卫所，用来羁縻统治降明的蒙古人。
其中，朵颜卫是成吉思汗的大臣折里走的后裔脱儿豁察儿之兀鲁思，汇集了喀喇沁、东土默特各部，号称兀良哈。泰宁卫是翁牛特部后裔，即成吉思汗幼弟斡赤斤的后裔。福余卫是元朝惠宁王、即哈撒儿后裔，乌齐叶特、科尔沁诸部会合而成。
建立卫所后，明朝规定诸位的游牧地为：泰宁卫：游牧于在故元泰州(今吉林省眺安县)塔尔河（今洮儿河）一带。朵颜卫：游牧于额克多延温都儿(今内蒙古扎赉特旗北)，溯儿河(今内蒙古兴安盟境内绰尔河)一带。福余卫：游牧于嫩江和福余河（今黑龙江省齐齐哈尔市附近的乌尔裕河）一带。因三卫中以朵颜卫最为强大，所以明朝将此地的蒙古部落统称为兀良哈三卫。
但是，诸卫蒙古部族对于明朝口服心不服，只是迫于形势，勉强归附。在明军撤军后，三卫迅速反叛，重新归附北元。之后明军在傅友德、郭英的率领下再次北征，压服兀良哈三卫。
此后明太祖将第十七子朱权册封为宁王，建藩于大宁卫（内蒙古宁城），授予朱权强大兵力（甲士八万、兵车六千），以统率并震慑兀良哈三卫。在强大的军事压力下，兀良哈三卫不得不低头，都归朱权节制。
建文元年（1399年），因建文帝展开削藩，使得封藩北平的燕王朱棣起兵“靖难”，对抗明朝廷。为了获取支持，增强实力，朱棣对于手握重兵，又近在咫尺的宁王朱权麾下军队产生了吞并念头。于是，朱棣假借与宁王商议奏事朝廷讼冤理由，只身一人前往大宁，骗取朱权信任，并暗地里与驻守大宁的兀良哈三卫首领达成助力约定。之后趁机将朱权挟持至北平，夺取了大宁卫军队，并获得三卫蒙古骑兵的效力。
得到宁王军队后，朱棣如虎添翼，势力大涨，在之后靖难之役中，战胜建文朝廷，夺取社稷，成为大明第三代皇帝----明太宗（成祖）。
成祖靖难成功后，为了酬谢兀良哈三卫的襄助之力，于是将大宁卫內迁，原有土地都赐予三卫，用于他们游牧。这样，明朝北方防线后退了数百里，防守压力陡然增大，此后二百年，都是大明边塞防守的缺陷所在。
永乐年间，兀良哈三卫对于明朝时叛时降，在大明和东蒙古鞑靼部之间反复不已。永乐十二年（1414年），成祖第二次北征鞑靼，击溃鞑靼首领阿露台之后，回师途中亲率精兵突袭之前叛明归附鞑靼的兀良哈三卫，获得大胜，三卫仓惶逃窜，明军斩首无数。此战后，兀良哈三卫长时间不敢骚扰内犯，并且部众纷纷脱离贵族约束，归降明朝。