三十多年后，正统十四年（1449年），明英宗在宦官王振的怂恿下，贸然出兵，讨伐已经逐渐强大起来的西蒙古瓦剌部。因准备仓促、指挥失当、又回师仓促，终于遭遇“土木堡之变”，明军大败，皇帝被俘，京师几乎不保。在这期间，兀良哈三卫先与瓦剌勾结，共同入侵明朝，之后又被瓦剌逼迫，迁徙驻地。
之后百年，兀良哈三卫不断在东蒙古鞑靼部和明朝之间倒来倒去，但大多是依附鞑靼，伙同内犯。
明嘉靖初年，鞑靼达延汗巴图蒙克统一了东蒙古，兀良哈三卫中的朵颜部首领花当及其后裔与达延汗的后裔世代联姻，兀良哈三卫逐渐与蒙古察哈尔、土默特、喀喇沁各部融合。
最后，福余、泰宁二卫因为与鞑靼联姻而融进鞑靼各部中，朵颜卫则分裂为互不统属的三部，兀良哈三卫逐渐式微。
再一百年后，已经基本依附于察哈尔、土默特各部的原兀良哈三卫，因与察哈尔末代大汗（也是蒙古黄金家族最后的首领）林丹汗呼图克图产生尖锐矛盾，并引发战争。
在多次交战，两败俱伤后，残余的兀良哈部众，在首领善巴的带领下，于明崇祯二年、后金天聪三年（1629年）归附了辽东新兴的后金政权，东迁到今天的辽宁义县、北镇等地驻牧。
明崇祯十年、清崇德二年（1637年），在清太宗皇太极的诏令下，善巴部兀良哈蒙古被编入内藩蒙古八旗，为土默特右翼诸旗。此后，善巴及他的后代，世袭为达尔罕旗扎萨克、多罗贝勒，历时三百一十三年。兀良哈蒙古后裔在此沿袭了十五代，直到新中国成立，民族归属全部划分至蒙古族大家庭中。
