“太史言隋分野有大丧，因改封于楚。楚与隋同分，欲以此厌当之。”
虽然很难说这样是不是真的就能将灾难加诸于杨素身上，但是杨素的确是死于封为楚国公的这一年，他被封为楚国公后不久就病倒了，杨广数次派名医到杨府为杨素诊治侍候，有赐给了杨素很多的好药，当然杨广并不是真的关心杨素的身体，希望他好起来，而只是想知道杨素的身体情况到了什么程度了，又在什么时候能死。
《隋书》记载：“帝每令名医诊候，赐以上药。然密问医人，恒恐不死。”
那么对于杨广如此殷勤的“关心”，杨素又是怎么做的呢？《隋书》记载：
素又自知名位已极，不肯服药，亦不将慎，每语弟约曰：“我岂须更活耶？”
杨素知道自己的权势已经到顶了，富贵也到顶了，这辈子算是值了，也知道杨广对他有猜忌之心，所以他选择不吃药，那些名医为他开出的药方，当着他们的面，杨素下令熬药，但他们离开之后，杨素拒绝吃药，他让自己的弟弟杨约将药都倒掉，还叹息说：“我还要活着吗？”
在他自己看来，已经没有必要活着了，所以他任由杨广派来的名医为他诊治，但绝不吃药，只是静静地等待着死亡的到来。没过多久，杨素就死了，杨广心里别提多高兴了，但面上还是很难过地，下令将杨素的葬礼大办。杨素的死，让杨广松了一口气，但是七年后，杨素的儿子却让杨广体会到了前所未有的失败。
