建安十三年（208年），北方基本大定，曹操趁刘表新丧，局势未稳，率大军兵锋直指荆州，刚接管荆州的刘琮以己弱不抵强敌而选择投降。面对突如其来的变局，刘备只好放弃新野，向南投奔刘琦。然而，就是刘备逃难的过程，还带领着十余万之众，如果不是曹操的精骑在当阳击败了他，刘备还不愿弃民独走。《三国演义》一书将此事归于刘备的“仁义”，更是大书特书，以反衬曹操的奸诈。那么，带领十余万民众撤退是真的出于他的“仁义”吗？
首先，自黄巾起义之后，军阀割据，战争不断，而此过程的军费、军队等活动离不开人的参与，自然民众就是军阀争夺的资源之一。标榜光复汉室的刘备内心十分清楚此道理。面对不可挽回的巨大损失，他更希望的是将损失降至最低，带着民众逃离至少可以留下东山再起的力量。事实上，除了刘备外，官渡之战前夕，曹操曾智解白马之围，迁走白马民众；失去街亭后，诸葛亮也曾迁走西县千余家人口。当然，后面两位迁民成功，而刘备失败。
其次，此时刘备尚没有一块稳定的割据地，正规兵役制度当然不能建立起来。当时他的兵勇主要依靠招募和收降。特别是收降，除了带来兵源外，军官还带来士兵的家属。此外，针对刘备集团兵源不足，诸葛亮曾建议将不在政府的编户之内的流民集中起来，编为军户，作为兵士的来源，他们也是有家庭的。面对强大的曹操集团，刘备选择了撤退，自然明白可能短时间内无法再控制新野，甚至被赶出荆州。如果此时让士兵抛弃妻儿跟随自己难逃，很容易造成军心大乱，军队不战自溃。后来，东吴攻取关羽的大本营江陵，并俘获了全部军户，造成荆州兵全面败溃便是一个例子。
除了刘备必须迁走的民众外，当然也会有一些自愿追随他的民众，他们的数量应该不会太多。但刘备不是曹操，曹操也不是袁绍，刘备军队不仅没有击败曹军的追击，反而被击败。最后，刘备只能忍痛割爱，带领着诸葛亮、张飞等数十骑逃走。至于这些民众的归宿，历史没有明确记载，但有一部分可以肯定的是又归营重建。