胡善祥被废的原因，诸多史书皆给出详细的原因。《明史》载：“时孙贵妃有宠，后未有子，又善病。三年春，帝令后上表辞位”；《万历野获编》载：“至三年十一月，以无子多病，表请闲居，而孝恭孙后代其位”；《胜朝彤史拾遗记》载：“既而上颇事游幸，且好弄。后数数规讽，上稍厌后。适后疾无子，而贵妃，宫人有身者，贵妃隐之为已有”。
由上可知，史书给出的胡善祥被废的原因，主要包括四点：一、无子。胡善祥与朱瞻基结婚十余年的时间只育有2女，即嫡长女顺德公主和嫡次女永清公主（早夭），并无嫡子；二、多病。胡善祥身体不好，不能负担起一国之母该负的职责，因她多病，致使后宫事务荒废，无人管理；三、孙贵妃得宠，且有了身孕。胡善祥不得宠，而孙贵妃得宠，且还有身孕，可能还是儿子，因此朱瞻基想立孙贵妃为后。四、胡善祥经常劝诫朱瞻基不要干这，不要干那，因此让朱瞻基很厌恶。朱瞻基继位不久，就迷恋上了出游，且已经有点肆意妄为的地步，而此时胡善祥就用委婉的言语去进行劝说，因此这让身为皇帝的朱瞻基很不满。
不过，诸多史书所给出的废后原因虽是大相径庭的，但对于胡善祥是以怎样的形势被废的，诸多史书对于这个细节的描述却是不一样的。
《明史》说“帝令后上表辞位，乃退居长安宫，赐号静慈仙师，而册贵妃为后”，就是说朱瞻基是让胡善祥自己上表辞后位，然后朱瞻基在群臣的面前同意她辞位，而后胡善祥退居长安宫，朱瞻基也就改立孙贵妃为后。
而《万历野获编》却是说“（胡善祥）表请闲居”，就是胡善祥是自己上表辞位的，然后本就对胡善祥不满的朱瞻基也就顺势同意了。
然后到了《胜朝彤史拾遗记》这里，它更是直白的说是朱瞻基直接下诏废后的，“上乃敕礼部：“皇后自罹多病，不能承馈祀。重以无子，怀谦退，上表请闲。朕念伉俪重，屡拒不纳。而后恳再三，不得已已从所请矣”，就是朱瞻基直接下诏给礼部，说他要废后，当然在诏书中他还是说了一些冠冕堂皇的话，说是胡善祥自己觉得自己对不起他，因此多次上表希望罢免她的后位，可朱瞻基碍于感情曾数次拒绝，最后在胡善祥多次的恳求下，朱瞻基无奈下只得同意。
那以上说法，哪种说法是正确的呢？个人觉得《明史》的说法更为可靠，应该是朱瞻基逼迫胡善祥上表辞后位的。想想看，中国二千余年封建史有哪位皇后是自己要求废掉自己的后位的，这怎么可能。再者，朱瞻基也不太可能在胡善祥无过错的情况下，直接下诏废去她的后位，作为一位想做明君的皇帝，朱瞻基是不可能在废后一事上让自己的身后名被抹黑的，因此肯定是要做做样子的，如此让胡善祥自己上表辞位，然后自己同意，这无疑是最佳选择。
当然，胡善祥的被废最重要的原因非无子，也非多病，毕竟胡善祥被废时，她才27岁，说实话年龄不算大，要生还是能生的，而且从胡善祥接连生出2个女儿来看，她并非是不能生。再者胡善祥虽多病，但这个病应该不是啥大病，顶多就是身体弱，毕竟胡善祥可是到正统八年（1443年）才去世，若真是大病绝不能活到正统年间，历经永乐、洪熙、宣德、正统四帝。
胡善祥被废，究其原因在于她的“不解风情”，史载“宣德间，海内宴安，车驾颇事游幸，每乘间规讽，无媚顺态”，就是说胡善祥从不以顺从谄媚的姿态去有意讨好朱瞻基，而且朱瞻基一玩乐，她就会经常去用委婉的言语去进行劝说，叫朱瞻基不要这样做，但勤于政事。总得说，对于大明朝来说，她就是一国之母的典范，是位真正的贤后，但对于朱瞻基来说，她却只是一个不解风情的妻子。