隋朝亡在了隋炀帝手里，而隋文帝和隋炀帝交替之际的史料多有混乱。有一种说法就是，隋文帝临死前发现隋炀帝、时为太子的杨广非正人君子，坚决要换太子。
这件事的真实性非常值得怀疑。首先，改立太子是件大事，草率从事的皇帝不多。从历史上看，还没有哪个皇帝在生命垂危时改立太子的。其次，杨广从开皇二十年（600年）被立为太子以来已经四年多，可谓羽翼丰满，而且隋文帝来仁寿宫之前，就已经把国事全盘托付给了太子，太子已经是摄行皇帝职权的准皇帝了，此时换太子风险极高，弄不好会引起哗变，危及政权。再次，更换太子需要极复杂的运作，而隋文帝的生命已经进入到了倒计时，几乎没有运作的时间和精力。最后，更换太子的一个重要前提是，太子一定要有十分重大的错误，而且替代者要相对优秀，可当时这两个条件都不存在。
对于这件事，《隋书·杨素传》如此记载：“时皇太子入居大宝殿，虑上有不讳，须豫防拟，乃手自为书，封出问素。素录出事状以报太子。宫人误送上所，上览而大恚。所宠陈贵人又言太子无礼。上遂发怒，欲召庶人勇。”
这里面提到的两条理由，尤其是后一条，在很大程度上是靠不住的。姑且不管其真实性如何，即便是真的，其严重性也不足以到废太子的程度。对于第一条，临近国丧，加强防备，理所应当，所以，“知天命”的文帝不应该生什么气。而对于第二条，多年以来，太子给隋文帝的一向是儒雅正派的形象，怎么可能因陈贵人的一面之词就对其怀疑？即便杨广真的失德，同前太子杨勇相比，也是小巫见大巫。
当年杨广能取杨勇而代之，就算是伪装出来的，也不能否认，他的表现确实可圈可点，并得到隋文帝、皇后和众多朝臣的认可。如果现在要返回去立杨勇，那么杨勇一定要相对优秀。但在隋文帝眼里，杨勇花天酒地、奢侈享乐，这种印象是不可能在瞬间改变的。也就是说，杨勇在品质上并不比杨广好到哪里去，而杨广再糟也不会比杨勇糟到哪里去。
隋文帝曾说，知子莫若父。即便当时身边真的有人煽动，已经死到临头的他也不可能去“悔棋”，用一个顽劣浪子代替另一个顽劣浪子。之所以有废立太子这样的说法，是因为隋炀帝失了江山，人们同情隋朝罢了。