一起，杨坚晚年颇受诸子的困扰。隋文帝先是幽禁三子秦王杨俊，接着将长子太子杨勇贬为庶人。后改立次子杨广为太子，并将四子蜀王杨秀贬为庶人。
“杨广无道·古怪而终”
公元602年（仁寿二年）独孤皇后逝世后，宣华夫人陈氏、容华夫人蔡氏都受到杨坚的宠爱。两年后，杨坚患病住在仁寿宫，尚书左仆射杨素、兵部尚书柳述、黄门侍郎元岩都进入仁寿宫侍疾。
隋文帝杨坚召杨广入内居崐住在大宝殿。杨广考虑到假如杨坚逝世，有必要预先作好防范办法，他同杨素的来信误送到了杨坚的寝宫，杨坚看后极为愤恨。
然后命柳述、元岩召杨勇觐见，后柳、元出杨坚寝宫，起草敕书。杨素闻知此事，告知了杨广。杨广假传杨坚的旨意将柳述、元岩拘捕，关进大理狱。他们敏捷调来东宫的裨将战士来宿卫仁寿宫，宫门制止收支，并派宇文述、郭衍进入调度指挥；指令右庶子张衡进入仁寿宫侍侯杨坚。后宫的人员全被赶到其他房间去。
随后，杨坚驾崩，在位23年，终年64岁，庙号高祖，谥号文皇帝，葬于泰陵。
