公元231年，诸葛亮兴师北伐，负责后方粮草的正是李严。而就在诸葛亮在前方与魏军交战之时，却得知后方粮草没有跟上，所谓三军未动，粮草先行，一旦粮草没跟上，等待他们的就是灭顶之灾，于是诸葛亮被迫退兵，此次北伐宣告失败。
建安十八年，刘备按照诸葛亮的《隆中对》图谋西川，刘瑣、冷苞、张任、邓贤带着刘璋的嘱托在涪陵防范。久疏战阵的刘璋军自然不是刘备的对手，三下五除二涪陵失守了，当失利的消息传回成都可吓坏了刘璋。环顾一下朝堂上的大臣，只有李严还能独当一面。本以为胜券在握的刘璋，因所托非人而失去了根据地。缘于李严打开了绵竹的大门，让刘备进入成都没费一兵一卒！
公元230年，曹真上书魏明帝讨伐蜀汉，魏明帝批准，并下令司马懿配合曹真。曹魏军队分为三路。曹魏大司马曹真从斜谷道攻入蜀汉，而镇守襄阳的大将军司马懿从汉水坐船由西城攻入，司马懿和曹真在汉中汇合，而其他各个将领，一部分安排从子午道攻入蜀汉，而另一部分从武都郡攻入蜀汉。在曹魏大军来袭之时，诸葛亮下令让李严帅兵两万人前来增援汉中，李严这个时候却派人和诸葛亮说曹魏的司马懿等人都开府了。这里解释一下，开府就是建立府署并自选僚属之意，汉朝本来只有三公可以开府，汉末才发生变化。
诸葛亮回朝后，拿出李严的亲笔书信，撤军原委真相大白。两人对质的结果是，李严词穷，叩首认罪。诸葛亮也终于忍无可忍，再让他这样在朝中搬弄是非，颠倒黑白，自己也没法安心在外带兵北伐，因此就决定罢黜李严。诸葛亮罢黜李严不是因为个人恩怨，打击报复李严，而是联合朝中各方势力，大小二十多名官员，联名上书罢免他的，同为托孤大臣，葛亮一心为公，执法必严，且公平公正，李严却处处掣肘，不予配合，谋权谋私，这完全违背了刘备托孤的初衷，同僚们也是看在眼里，记在心间，所以李严被废完全是咎由自取。
