公元755年，安禄山发动了“安史之乱”。目睹国都不保，高力士维护着李隆基逃往成都。两人此刻亦都是白头翁，但高力士一路上依然不遗余力维护在李隆基身侧。公元756年，太子李亨在灵武遥尊李隆基为太上皇，并重行了登基大典，是为唐肃宗。紧接着他又率军平定暴乱，克复国都长安和东都洛阳。
次年，待战事平定后，李隆基在高力士的陪同下，又回到了长安。仅仅此去经年，在李亨的安排下，李隆基只能屈居于从前做临淄王的府第兴庆宫。虽然杨玉环已云消雾散，还好有高力士一路相伴，李隆基的晚年日子，好歹还有个作伴的。
但李亨仍是觉得不放心，究竟李隆基和高力士但是一同革过两次命的。再加上李隆基在兴庆宫的阁楼上喝酒时，一些大众看到了，便纷繁向他跪拜，这无疑让李亨夜不能寐。
所以，李亨又把李隆基的居所改到了愈加偏远的太极宫。李亨命李辅国担任此事。李辅国拿着鸡毛当令箭，带了五百持刀马队，前往迎候李隆基。说是迎候，他这一情势着实吓人。只见刀光闪闪一片，把个李隆基吓得不轻。
高力士非常着恼，呵责李辅国，命他不得对太上皇无礼。又代李隆基向五百战士问候，虽然李辅国骂他“不解事”，还杀了他两名随从，但邪不压正，再加上李隆基余威犹存，那些战士害怕，终究纷繁下马给李隆基存候。李隆基这才转危为安，好歹算安全地迁居到了太极宫。
不过，高力士却因而开罪了李辅国，再加上李亨也不肯意让高力士常在李隆基左右，所以李辅国的诬告来得很及时。不久，高力士不只被削去一切职务，还被流放于巫州。临行前，高力士恳求再会李隆基一面，未准，只得遗憾上路。
公元762年，李亨大赦全国，高力士这才得以回京，但是他在走到朗州时，传闻李隆基已逝世的音讯后，不由“北望号恸，呕血而卒”。高力士终身都对李隆基忠心不贰，李隆基逝世后，他亦不肯苟活。明人李贽赞他为“高力士真忠臣也!”
