李林甫升任中书令以后，为了巩固自己的权势，马上引荐了遭到张九龄极力反对的牛仙客做宰相，作为他的副手。牛仙客既无学识，又无才能，自知能当上宰相是靠了李林甫的一手提携，对李林甫自然是唯命是从，毫无主见。监察御史周子谅实在看不过去，第二年四月，他上书弹劾牛仙客无才无识，滥居相位，很不称职，不料唐玄宗对周子谅的上书大为恼火，认为是指责自己用人失察，当堂令殿卫士将周子谅痛打一顿，把他打得皮开肉绽，当即昏死过去，并将他发配襄州。周子谅悲愤至极，只走到蓝田便创伤发作死去。
李林甫乘机落井下石，在唐玄宗面前谗害张九龄，说周子谅是张九龄所推荐的，他敢如此大胆，这是受了张九龄的唆使。唐玄宗听信谗言，又把张九龄逐出京师，贬为荆州刺史。
张九龄被逐出朝廷，太子李瑛也就失去了保护，唐玄宗犹豫了一年的废太子问题，在李林甫的积极推动下，最终下定决心，太子与鄂、光两王同日被废，亲近太子的几十名官员也遭到株连，有的被贬职，有的被流放。
李林甫施展阴谋诡计陷害、排挤了敢于直谏，忠于朝廷的贤相张九龄，从此他一手遮天，大权独揽。以后与李林甫一起担任宰相的先后有牛仙客、李适之、陈希烈等人。其中牛、陈两人是李林甫的亲随，由他推荐出任宰相，所以平时对李林甫唯唯诺诺，只看他的脸色行事，即使讨论军国大事，也不敢发表一点意见，全由李林甫一人决定。李适之为人较直率粗心，议论政事时常不得体，因此唐玄宗对他很不信任。而老奸巨滑的李林甫，能事事迎合玄宗，很得玄宗的信赖。况且此时唐玄宗正为天下大治的盛世景象所陶醉，自己已年过半百，在位多年，对繁重的政务也日益感到厌倦。尤其是每日上朝议政，接见群臣，处理政事的时候， 他是既十分紧张，又受到礼仪的拘束，不能随心所欲。渐渐地，他就把政事全部交给了李林甫去处理，这客观上为李林甫的专权提供了条件。
