在收复两京之后，李泌宠信日隆，受到了另外两位宠臣中书令崔园和太监李辅国的嫉妒，因此李泌为了避祸希望在衡山隐居，肃宗也下诏为他修建房屋，并且仍然可以拿着三品官员的俸禄。后来肃宗死后，代宗即位，为了感谢李泌早年间侍奉玄宗和肃宗，代宗特地在长安赐给了李泌一座房子，李泌因为求长生所以一心向道不食肉，不娶妻，代宗亲自下诏让他吃肉，并且为他娶妻，可以说是恩宠备至。
之后连任两朝宰相，一个元载，一个常衮，都对李泌十分不满，认为他抢了太多皇帝的恩宠，于是找个借口把李泌贬到南方去，李泌也不以为意，反而把瘴疠丛生的地方治理的井井有条，“会澧州缺，衮盛言南方凋瘵，请辍泌治之，乃授澧、朗、峡团练使，徙杭州刺史，皆有风绩。”到德宗即位之后，李泌终于正式拜相，而当时在安史之乱后藩镇坐大，朱泚等人再次造反导致泾原兵变，李怀光也因为觉得自己受到朝廷猜忌而叛乱，当时德宗病急乱投医，许诺吐蕃割让安西都护府和北庭都护府，被李泌全力阻止，得以不让吐蕃坐大。
李泌为相虽然仅在德宗时期，但是他个人却做到了不负“王佐之才”之名，曾经德宗因为太子妃之母摆弄巫蛊，被德宗幽禁，并且大怒之下对太子也十分有意见，经常想要换太子，易东宫储位，李泌说道“因为直言被杀，作为宰相这是我的本分，但是以后陛下您如果后悔说因为我没有劝谏导致太子被杀，再杀了我的儿子，那我就绝后了，哪怕兄弟有孩子，也不是我的了。以前太宗皇帝曾经说过，‘太子无道，藩王窥伺’就一起被废，今天陛下怀疑太子称赞舒王，那么舒王肯定有窥伺之心，希望陛下一起废了，天下也照样是陛下子孙的天下，而且这件事是因为太子妃母亲妒忌而蛊惑东宫，为什么要牵连太子呢？”在一通仗义执言之下，总算说动德宗不再废立太子，避免了李唐皇室无谓的宫廷政变和斗争内耗。
贞元五年，李泌因病去世，德宗追赠太子太傅，李泌的一生起起伏伏，多次因他人妒忌而去官隐居，又因为皇帝的信任起复为官，虽然他多次身居高位却不迷恋权力，只把这当做自己为国出力的职责，而非享受权力带来的快感，无愧于学道多年，淡泊名利。侍奉四朝皇帝，多次力挽狂澜，也实现了自己少年时“王佐之才”的理想，一生立功立名，忠心事主，可谓是千古完人，所以史家也称赞“泌之为人也，异哉！其谋事近忠，其轻去近高，其自全近智，卒而建上宰，近立功立名者。”
