不仅如此，李隆基的大哥宁王李成器也在这时身故。李瑁从小是宁王夫妇抚养长大的，感情深厚，视为养父，凑巧他需要为宁王守孝，实际上这也给了无瑕顾及妃子，被遣出王府的一种蛮横理由。三年孝期过后，李瑁被安排另娶韦氏，而杨氏摇身一变，也已经宫里宫外成了皇帝新宠——杨氏娘子。
影视剧中唐玄宗与杨贵妃的形象
大部分人已经可以从男女关系变换得到一种可以信服的解释，因为李隆基要霸占杨氏，自然不会再扶持李瑁上位，难道将来年纪大了，想给自己找麻烦添堵吗？其实这只是表面一层原因。
另外还有一种更内在的原因，即便不提杨氏的分量，单从纯爷们方面看，李隆基也已经不大可能抬举李瑁为太子，哪怕他心里的确更喜欢李瑁。这一要害因素恰恰就是李林甫在武惠妃、李瑁母子之间纠缠太深。
随着皇帝对李林甫重用提拔，李隆基深知李林甫的能力，一旦扶持李瑁为太子，李林甫作为宰相与太子之间太过密切，其将来趋势毫无疑问是李林甫转向对未来储君的献媚。对正希望放松自己，与后宫妃子过一过享乐日子的皇帝来说，那就是亮瞎眼的红灯警告！在重于泰山的龙椅前面，即使当真宠爱李瑁，也绝对不会是李隆基所希望的太子人选了。
李隆基对李林甫的信任到底出于什么逻辑？李林甫上位主事不同于过去源乾曜、萧嵩，摆出一个各方面普通的核心来平衡宰相团队，李林甫是实实在在的主心骨。李隆基似乎特别需要一个像李林甫这样的人在朝堂控制局势。
从年龄上看，开元末年的李隆基快要奔六。由于三王悲剧的影响，李隆基尽管担忧李唐社稷的延续，可同时他更忧虑再度变生肘腋。试想李隆基这一生，确实多次经历宫廷危机，神龙、唐隆、先天前期接连三次，之所以他在开元前期不断调整宰相，一直都有高度的防范意识。甚至他把这种警惕放在一堆儿子中间，所以三王悲剧并不是凭空发生。
李林甫稳居相位不是一种侥幸，前面主持《唐六典》编纂（有一些研究者认为李林甫毫无文学才干，认为这部书可能是张说或张九龄在集贤院主持编撰，却被李林甫夺名，还挂皇帝李隆基的名字），一步步精简繁冗机构，缩减财政开支，改变纳税方式从人头变为土地，适应当时多次拓边的军事行动，包括壮大边军力量，李林甫不是武则天时代只会整人的酷吏，的确是一个宰相的人选，还是玄宗那个处在盛世背景下当真需要的人选。
李林甫主持修订法律也是开元末年的成绩。删除无用不合时宜的条例达1300多条，补充修正多达2100多条。颁行律12卷，令30卷，式20卷，这不仅是唐朝最重要一次修订，甚至它的影响一直持续到元朝中原法律的制定。正因为李林甫遵循玄宗要求严于法律，所以李林甫用人也比较严苛，基本按部就班，不徇私情或少徇私情。这也是他非常清楚自己多年来得罪很多人的又一大原因。
也有一些研究者认为，以李林甫的才干，假如也像姚崇宋璟或张说张九龄一样只当五六年，其实多半就可以得到名相的美名，哪怕有排挤张九龄等瑕疵，其实在姚崇、张说等人也半斤八两，所以，李林甫的成绩也未必逊色于姚崇宋璟。
总的来说，李林甫总揽工作、组织施行的能力确实非常突出。他不是张说、张九龄那种文人出身，所以讨厌文人，虽然出身宗室，实际却属于做小吏干实事一类人。
天宝以后，李林甫继续顺着皇帝的心思，虽然李隆基已经立李亨为太子，可又不愿意太子势力发展太快，皇甫惟明—韦坚案、王忠嗣案、杜有邻案、杨慎矜案……不断制造事端打压拥护李亨的人马。而李亨为自保两度离婚，舍弃一个个姻亲故旧，甚至恐惧后妃怀孕……
李林甫在号称英明神武的玄宗眼皮下胆敢这样，绝对不是他个人的嚣张跋扈，而是皇帝的确改变了过去的用人方式。李林甫的能力也促使李隆基更加依赖他，只是皇帝如此放纵自己，放纵李林甫，终究物极必反。但天宝后期发生的祸事严格来说并不是李林甫种下的过错，恰恰应该是李隆基自己疏忽懈怠的错，是皇帝把事情全扔给李林甫一个人操办，前后十多年，还要迎合皇帝好大喜功的骄矜虚荣，怎能不会把朝局拖到危机四伏的边缘？
