而赵匡胤的四个儿子里，老大和老三死得早，只剩下二十多岁的次子赵德昭和十几岁的四子赵德芳，太子的人选还没有确定。就算定下又如何，赵匡胤一死，谁也压不住赵光义。969年太原之战后，赵光义被改封为东都留守，加封晋王，地位超过宰相。除了赵匡胤的少数心腹，大多数朝臣都是晋王赵光义的支持者
等到赵光义出面抵制迁都的时候，赵匡胤不能不表态了。他一开始说：“我不但要迁都洛阳，以后还计划迁都长安。”赵光义极力劝阻，赵匡胤又说，“西迁之计，是为了依托山河之险，裁撤冗兵，遵循周朝、汉朝的做法安定天下。”
这句话显示出赵匡胤的远见卓识。北宋初期的京师禁军规模不过20多万人，赵匡胤认为这给财政造成了沉重负担，如果迁都洛阳，将来可以裁撤一部分军队。可是，晋王赵光义一句话就把赵匡胤噎住了。他说，国都的安全“在德不在险！”就是说，京师的安全，取决于君王有德，治国有方。而不是凭借地利。这句话完全占据了制高点。
赵匡胤无言以对。他也意识到，以晋王为首的政治力量不会答应迁都，如果为此撕破脸，局面将不可收拾。迁都的计划流产了。赵光义离开后，赵匡胤对身边人叹道：“晋王之言固善，然不出百年，天下民力殚矣！”他认为，照此发展下去，不出百年，天下的民力将无法支撑宋帝国的军队。
宋仁宗时期，也有人提出迁都洛阳。范仲淹曾说：“洛阳险固，而汴为四战之地，太平宜居汴，即有事必居洛阳。当渐广储蓄，缮宫室。”意思是，和平年代以汴梁为都城没错，但一旦发生战事，洛阳是更好的选择。应该提前准备，扩大洛阳的战略储备，修缮宫室。
“在德不在险”固然有道理，但一句冠冕堂皇的话并不能保证大宋长治久安。赵匡胤预见了宋帝国的未来。宋太宗年间，已经有30多万禁军，宋仁宗时期，禁军的规模达到了80多万，后来发展到上百万之众。
宋仁宗年间，宋帝国维持军队的问题就非常严重了。天下农民挣扎在饥饿边缘，还是难以供应庞大的禁军和厢军部队所需的军粮。欧阳修等名臣多次上书，请求裁撤冗兵，开源节流。赵匡胤去世才七八十年，宋帝国的问题已是积重难返。战斗力低下的军队大都是招募来的流民，根本不会去种地。一旦裁军就会激起民变。可是军队的规模还在日渐扩大。有识之士都清楚，宋帝国在走向深渊，但谁也没有办法。
赵匡胤生前说的“不出百年，天下民力殚矣！”，已经应验了。这种局面发展到宋钦宗靖康二年（1127年），金国军队攻陷开封，北宋在奇耻大辱中崩盘。那是赵匡胤作出预言的150年之后。
