不久，监察御史周子谅奏称牛仙客非宰相之才，被玄宗一气之下杖杀。李林甫趁机进言周子谅是张九龄引荐，导致张九龄被贬荆州长史。一方面可见玄宗受风言风语影响的冲动个性是多么典型，另一方面，李林甫当面一套背后一套“口蜜腹剑”的大名就此流传后世。
随着张九龄等正直大臣一一被赶走，李隆基痛下杀手贬三个儿子为庶人，全部赐死。《新唐书》为增添武惠妃之死的离奇，认为她让驸马杨洄找李瑛等入宫，借口宫中遇盗。李瑛等担心皇帝安危，带一帮随从入宫搜寻查办。武惠妃又跑去通知李隆基说太子等一伙人意图不轨。李隆基听李林甫之言，对三个儿子就铁面无情了。
对于身居后宫的武惠妃招引太子李瑛等三王入宫一事，历史上颇有人质疑，例如司马光就算一个，可见所著《资治通鉴考异》。按唐朝制度后宫如果有人出面相请，王子入宫不算违规违例（好比某个母亲约见某个儿子或亲属，其实在任何朝代都算符合制度）。尽管武惠妃请太子李瑛入宫，可能有些奇怪，史书接着表明玄宗的确很怀疑，先让内侍宦官出去看看究竟。但太子本身有护卫皇帝和皇宫的义务，所以李瑛带一批人前来是情理之中，正是一切合乎正常反应，太子才被武惠妃算计得逞。
关于李林甫的书籍
唐玄宗李隆基认为李瑛等人的动机有蹊跷，但从行事上，李瑛等人并没有真正违反唐朝制度。因为他们不过是接到消息搜查一番，根本不是图谋不轨，这本身是武惠妃试图指鹿为马，让皇帝觉得太子有不轨举动。玄宗尽管恼火，也只能把事情拿出来再让宰相等议论该如何处置，这就是后面李林甫帮武惠妃的表示，怂恿皇帝按高宗的做法，对三王下了狠手。
李林甫进封晋国公，开始长达十多年的恩宠。武惠妃却常常夜里做噩梦，声称在宫里遇见太子等人冤魂，还请术士做法，为三王迁葬都不管用，没多久一命呜呼，年仅三十八岁，史书称她是自己把自己吓死了。
在武惠妃病逝不久，当时关于储君和朝局后来的变化，又大大出人意料，李林甫十分聪明，可一切也并没按照他的盘算发展，甚至也并不见得按照皇帝的心思发展，历史的进程是不以个人意志为转移的，的确是经典论断。
影视剧中武惠妃的形象
当时李林甫的盘算是，皇帝如此宠爱武惠妃和李瑁，那就可以顺着杆子往上爬，数次劝立李瑁为太子。然而天有不测风云，李隆基的态度陡然转变，属意忠王李玙。当时皇帝李隆基的看法是，万一将来有变，社稷需要长君。李瑁的出生年份不详，但至少在开元十三年（725）封寿王前已经出生，且在开元二十三年武惠妃女儿咸宜公主婚后，到二十五年（737）杨玉环以寿王妃身份入宫为皇帝解闷，正是武惠妃死后皇帝一直闷闷不乐。李瑁这个时候至少是青少年，杨玉环当时是妙龄十七八岁，她生于开元七年，李瑁的年纪应该是与杨玉环相仿佛，或者略小一两岁。
尽管如此，就算十几岁当皇帝的案例其实史不绝书，何况李隆基也不算老，当真到那一天李瑁接班其实毫无问题，但李隆基却以这个理由另外选择了接班人。李玙是排行第三的儿子，的确年长且仁孝，勤奋好学，就是之后改名李亨的唐肃宗。正因为李林甫没在李亨做太子这件事上占据功劳，非常担心将来对他找麻烦，两人长期冲突不断，这件事是李林甫面对的最大意外。
事实上，从时间与事件顺序上就明显可以看出，李隆基之所以来一个急转弯改立忠王李玙，貌似有点不可思议，且立长的说法冠冕堂皇，可内在却并非毫无理由。似乎很大程度与那位著名的杨玉环和皇帝发生了暧昧有莫大关系。
不能说完全准确，可在开元二十六年（738）改定李玙为太子之前（当时李玙，与李瑛、李瑁、李璘等全是统一的玉字旁，李亨的名字是天宝以后另外改），李瑁有加封开府仪同三司，无形之中有明升暗降的嫌疑，实际是开始被冷落。之前二十五年，寿王妃杨氏已经暗中入宫侍奉皇帝，太子确立之后，杨氏莫名其妙被下令离开寿王府去当女道士，她嫁给李瑁粗略一算才不过三四年，李瑁先丧母，后失妻，遭遇的打击可想而知。
