这样一个曾经位极人臣，而且还是皇亲国戚的大人物，怎么会落到身死族灭的地步呢?
表面的起因似乎是因为胡惟庸的谋反案。洪武十三年，胡惟庸案发。李善长虽与胡氏同乡，且李善长弟弟李存义的儿子娶的是胡惟庸的侄女，具有姻亲关系，胡惟庸仕途得意，又主要是靠李善长的引荐，但在胡案初始阶段，李善长并未陷入其中。
御史台缺长官，退休的李善长还一度被“拉夫”，暂时主持御史台的事务。让人无法意料的是，到了洪武十八年，“反臣”胡惟庸的脑袋早已“搬家”多年的时候，突然有人跑出来，揭发李善长的弟弟李存义父子“实为胡党”。
这个时候，圣恩虽仍如雨露，说“免死吧”，但对李善长来说显然已危机四伏。
洪武二十三年，已经77岁的李善长修房子，向信国公汤和借士兵300人干私活，汤和没同意还奏了一本。该年四月，李善长又为一个犯了罪的叫丁斌的亲戚求情。
按照常理，这在当时本来是一件并不大的事情，可不知何故又闹到了朱元璋那里。皇帝下令审讯，而这个丁斌过去曾在李善长家服务，很奇怪，他没有就事论事，交待李丞相是怎样为他请托免罪的，却直往心惊肉跳的事上扯，即李善长家族与胡惟庸的瓜葛。明太祖先逮捕了李存义父子，拷讯之下，总算拿到了最有“价值”的内容。
按《明史》记载，李存义父子是这样供认的：胡惟庸想造反，便使亲家李存义去游说李善长。李善长起初大惊，说这是灭九族的勾当啊。不久胡惟庸又派李善长的老友去劝诱，说事成之后当封其为王，善长“不许，然颇心动”。后来胡惟庸亲自出马，善长“犹不许”。
过了一段，胡惟庸又让李存义去劝说兄长，李善长叹了一口气说：“我老了，等我死后，你们想怎么干就怎么干吧。”但仅此似乎还不足定案。很快，李善长家的几个奴仆也纷纷告发李善长和胡惟庸的阴谋。
“大逆不道”的罪名终于成立，有意思的是连老天也示意李善长该死了。《明史》上说，李善长刚刚被定罪的时候，星相学家“言星变”，卜了一卦，说上天示意要“移大臣”。
须知，因天象的异变杀人，也是中国历史上的传统。唐末时，一个依附军头的权相，就是以这种理由来清除他不喜欢的20多位同僚的，结果“朝班为之一空”。现在李丞相既然也到了天厌之的份儿上，还有何说?皇帝当年亲赐的那个可以免二死的铁券，也成了一张废纸……
