公元349年，石虎的子嗣终于等到了他去世开始争权夺势，内耗严重。最终，石虎的养孙汉人冉闵登上了帝位，但是羯人和其他胡人都不愿意效忠他。于是冉闵诛杀羯胡，导致了内战爆发，后赵皇族内斗陷入虚弱状态。
暴虐的后赵最终被自己的行为反噬，还被其他各国联合起来剿灭。没有任何一个民族放过羯族，尤其是汉人冉闵建立的冉魏国更是将后赵皇族灭得一干二净。估计那冉闵当时也是个间谍，当了石虎的义子，最后又反过来屠杀羯人，成了民族英雄。
公元352年，冉魏国灭亡，又有小部分羯人在侯景的带领下逃了出来，臣服于南梁，得以喘息。但是侯景不知好歹，于公元548年发动了“侯景之乱”，南梁只得将最后这一部分存活下来的羯人全部屠杀殆尽。从此，羯族就完全消失在了历史长河之中，这大约就是“自作孽不可活”。
