满朝文武中，只有老臣苏威硬着头皮对杨广说：“对于叛乱情形，各地奏报多不属实。臣在此仅举一例：从前叛贼据有长白山，距洛阳一千余里;而今却近在汜水，距洛阳仅一百余里。请陛下想一想，如果叛贼越来越少，又怎么可能离东都越来越近?”杨广闻言，勃然大怒，随即找了个借口罢免了苏威，并把他子孙三代的官爵全部罢黜，贬为庶民。
大业十二年，四方叛乱愈演愈烈，隋朝的文武百官都对此心知肚明，却无人敢言。因为，杨广更愿意相信宇文述的话——天下的盗贼只剩下不到十分之一了。换句话说，杨广宁可相信天下无贼。这年初秋，为了让自己忘却三征高丽和雁门被围的耻辱，杨广决定南巡，三下江都(今江苏扬州市)。一些有良知的官员再也不忍心保持沉默了。右侯卫大将军赵才第一个站出来劝谏：“今百姓疲劳，国库空虚，盗贼蜂起，政令不行，愿陛下早回西京，安抚万民!”
杨广不由分说地把赵才扔进了监狱，随即下令龙舟队扬帆起航，毫不迟疑地离开了烽火连天的中原，朝着歌舞升平的江都翩然而去。途中，大臣任宗、崔民象、王爱仁相继劝谏，却无一例外地掉了脑袋。龙舟行至梁郡(今河南商丘市)，当地百姓联名上书：“陛下若执意南巡江都，天下将不再为陛下所有!”杨广二话不说，命人将他们全部砍杀。从此，再也没人能阻止龙舟一帆风顺地驶向江都。
同时，再也没人能阻止杨广义无反顾地奔赴死亡。离开洛阳时，杨广曾作诗向后宫嫔妃告别，其中一句是：“我梦江南好，征辽亦偶然。”杨广所说的江南就是江都。他曾在江都坐镇十年，对这座繁华富庶又风情万种的城市怀有很深的情感。相比于洛阳，他显然更喜欢江都，也一直将其视为灵魂的故乡。
这几年，杨广感觉自己走了背运，没有一件事情顺心，所以他满心希望，美丽的江都能够抚平他的焦虑，疗治他的创伤，成为他生命中又一个崭新的起点。然而，历史很快就将证明，这只是杨广的一厢情愿。因为，江都不是一个崭新的起点，而是一个可怕的终点——终将把属于杨广的一切全部埋葬。
杨广是怎么死的?
杨广在江都却越发荒淫昏乱，命王世充挑选江淮民间美女充实后宫，每日酒色取乐;又引镜自照，预感末日将到，锐意尽失的杨广晚年常引镜自照，对萧后和臣下说：“好头颈，谁当斫之!”杨广晚年，既没有像陈后主那样做个长城公，也没有把带在身边的毒药派上用场。大业十四年(618年)三月，杨广见天下大乱，已心灰意冷，无心回北方，命修治丹阳宫(今南京)，准备迁居那里。从驾的都是关中卫士，他们怀念家乡，纷纷逃归。
这时，虎贲郎将元礼等，与直阁裴虔通共谋，利用卫士们思念家乡的怨恨情绪，推宇文述的儿子宇文化及为首，发动兵变，杨广闻变，仓皇换装，逃入西阁。被叛军裴虔通、元礼、马文举等逮获，杨广欲饮毒酒自尽，叛军不许，遂命令狐行达将其缢弑，时年五十岁。杨广造成的大乱，使华夏人口锐减到两百余万户。
这个雄心勃勃的帝王，死后连个像样的棺材也没有用上，由萧后和宫人拆床板做了一个小棺材，偷偷地葬在江都宫的流珠堂下。后陈棱集众缟素，为杨广发丧，备仪卫，改葬于吴公台下，衰杖送丧，恸感行路。杨广遇弑的消息传到洛阳，洛阳群臣拥立杨广之孙越王杨侗为帝，史称皇泰主，杨侗追谥杨广为明皇帝，庙号世祖，农民军领袖窦建德追谥杨广为闵皇帝，同年，李渊逼迫傀儡杨侑禅让，建立唐朝，追谥杨广为炀皇帝。不久，洛阳权臣王世充逼迫杨侗禅让，隋朝正式灭亡。
