当时，宫廷内部的矛盾斗争十分激烈。唐玄宗独宠武惠妃，由此而爱及她的亲生儿子，太子李瑛（赵丽妃所生，王皇后抚养）及其他皇子遭到了玄宗的冷落。武惠妃专宠已久，为争当皇后和为亲儿子寿王李瑁谋夺太子之位，一方面在朝中拉拢李林甫等阿谀之徒，同时开始谗害太子。派她的女婿（附马）杨涧暗中监视太子的言行举动。
开元二十四年冬季的一天，太子与鄂王李瑶、光王李踞相聚，言谈之际，大家对生身母亲失宠，自己受到冷落流露出不满的情绪，说了一些抱怨的话。这些话马上被杨涸探悉，于是武惠妃抓住这一把柄，在玄宗前添油加醋地哭诉说：“太子暗中勾结鄂王和光王，欲加害我母子，还说了陛下许多坏话。”唐玄宗听后龙颜大怒，马上把三位宰相召来，商议废太子及鄂王、光王的问题。
张九龄听罢玄宗所说原委，认为他是由于偏爱武惠妃而加罪无辜的太子等人，便对玄宗说道：“陛下，太子与鄂、光两王长到这么大，从来没有听说过他们有什么大的过失，今天您怎么能凭着这些没有根据的话，一时冲动而把他们三人全都废了呢？况且太子之位，关系到国家的根本，万万不能轻易废立。”
唐玄宗听了张九龄的话，心里很不高兴。但是，废立太子毕竟是朝廷大事，皇权虽然至高无上，还须得到宰相、大臣们的支持才行，因此只得暂时将此事忍了。
作为宰相之一的李林甫，在这个问题上态度微妙。当着张九龄和裴耀卿的面，他一声不吭，听凭他们议论。但事后，他马上找到高力士，对他说道：“废立太子，这是皇上的家事，何必征求外人的意见呢？”向唐玄宗表明了自己，完全赞同他的意见，以迎合玄宗和武惠妃的心意，并影射张九龄干预“皇上家事”。致使唐玄宗对张九龄等更加不满。
李林甫见排斥张九龄的机会趋于成熟，便进一步在唐玄宗面前陷害张九龄，攻击他狂妄自大，专权霸道，不尊重皇上，他的言行有损皇上的尊严……损害张九龄在玄宗心目中的形象。终于，不久被他找到了绊倒张九龄等人的把柄。
事情是由中书侍郎严挺之引起的。李林甫自己不学无术，所引荐和重用的也都是些常识水平极差的人。萧灵便是这样一个胸无点墨之徒，经李林甫引荐当了户部侍郎。一次，当着严挺之的面，萧灵把“伏腊”读成“伏猎”。严挺之是张九龄的好朋友，很有才学，为人正直，一向自命清高，看不起李林甫的为人，除非公事，私下绝不与他往来，因此李林甫对他十分忌恨。严挺之把萧灵“腊”“猎”不分之事告诉了张九龄，并戏称萧灵为“伏猎侍郎”。于是，张九龄上书弹劾，把萧灵逐出朝廷，贬为岐州刺史。李林甫由此对严挺之、张九龄更是恨之入骨，伺机报复。
就在这年年底，严挺之离婚的前妻再嫁丈夫、蔚州刺史王元埮，因故获罪入狱，此案正在由刑部、大理部、御史台三法司审理。当时严挺之的前妻来求严挺之帮忙，严挺之看在夫妻一场的份上，曾为她去询问了一下案子情况。李林甫知道后，紧紧抓住这一点大做文章，立即在玄宗皇帝前诬陷说：“严挺之在设法托人求情，企图包庇犯罪亲属王元埮。”唐玄宗听了也不加查核，就把三位宰相召来对他们说道：“严挺之身为朝廷命官，徇私枉法，竞然包庇罪犯亲属，理当从严惩处。”
张九龄听后不由一惊，当即为严挺之辩解说：“王元埮是严挺之离异前妻的再嫁丈夫，两人算不上是亲戚，不应该有私情的。”谁知唐玄宗对张九龄早已耿耿于怀，现在见他又顶撞自己，竟冲着张九龄恼火地说道：“我听说他经常与前妻有往来，与王元埮关系密切，前妻之夫也是亲属！”张九龄、裴耀卿见皇上发火，也不敢再说什么。见两人不再言语，玄宗龙颜稍悦，责令李林甫负责调查此事。
李林甫乘机以不实之词陷害严挺之，说此事确实。同时又诬陷张九龄、裴耀卿与严挺之暗中结为朋党，所以才竭力为严挺之辩护。唐玄宗听说真可是火上浇油，当即下诏，贬严挺之做了洛州刺史，同时罢免了张、裴两人的宰相职务，贬张九龄为尚书右丞相，裴耀卿为尚书左丞相，不再参预政事，而李林甫却被擢升为中书令，取代了张九龄的位子，成为大唐第一宰相。
