先说说孙尚香为什么要离开刘备，因为只有离开刘备才会带走刘禅呀。
建安十三年冬天，众所周知，孙刘联军在赤壁大胜曹操。一年后，也就是建安十四年冬，孙权把妹妹孙尚香嫁给了刘备。这时候，刘备四十九岁，孙权二十九岁。。四十九岁对不到二十岁，刘备并不是那种重色轻友的人，在那"兄弟如手足，老婆如衣服"的乱世。
如果让他在老婆与兄弟之间选择有个，那他一定会选择兄弟。道理很简单，老婆没了可以再找，有了权力还会娶老婆吗；但兄弟可是他打天下的资本，兄弟要是没了，那他那还有什么资本啊，所以说有能力的兄弟更是弥足珍贵。从后来的交往中也看出来了，孙尚香随时可能被抛弃，正是因为这一点，她才打算离开孙权，而且走的时候还带走了阿斗刘禅，这又是为什么呢
建安十五年，刘备孙权关系分裂，在刘备离开荆州西进时，他把荆州的军事和政务，交给关羽、张飞、诸葛亮，也把孙尚香和阿斗的护卫委托给赵云。因为刘备入蜀时，他将当时唯一的儿子阿斗，留给孙尚香抚养，但正式因为这个安排，后来在孙尚香决定回江东时，想将阿斗一并带走。
有人说，孙夫人想带走阿斗是不怀好意，可能是想把阿斗留在江东当人质，胁迫刘备当孙权的部下。其实并非如此，阿斗刘禅虽然不是孙尚香所生，女人总是天生有母性，喜欢小孩子的。况且，她自己还没有生育，却义无反顾的抚养了刘禅两年，彼此之间已经建立了母子的感情，这才是孙尚香想带走阿斗的原因。
孙尚香在带走刘禅的时候，照看他们的赵云却没能拦住，只好跑去找张飞，俩人一起抄小道奋起直追，在江边的小船上拦下了，问为何突然离去，孙尚香便说；家中老母有急病，我要是等你大哥回来，就来不及了，如果你今天不放我走，我宁愿投江而死。张飞不同意，赵云就劝张飞我们只把小主人带回去就行，不要逼死嫂嫂。
孙尚香迫不得已只好交出刘禅，因为在当时那个乱世朝代，如果孙尚香不同意，张飞会毫不犹豫的杀掉她，刘备重兄弟情义，对妻子毫无感觉，所以回去最多挨顿骂，啥事也没有。如果让孙尚香带走了刘禅，刘备没了继承人，即使干出大事业又有何用呢？