程元振专权自恣，以私怨诬杀大将、兵部尚书来瑱，贬宰相裴冕，迫死同华节度使李怀让。以致文武百官人人自危，那些拥兵自重的节度使对朝廷越发持有戒心，不听调遣。
广德元年，吐蕃攻打长安，代宗召集节度使率兵解围，竟然无一人前往救援，连忠心的李光弼也顾虑程元振的暗害，观望不前。最终京师失陷，代宗仓皇出走。
满朝文武对太监程元振的怨愤实在太大。太常博士、翰林待诏柳伉上疏抨击程元振。代宗迫于压力，下诏尽削程元振官职，放归乡里。
如果程元振是个识时务的人，那么他从此装孙子，低调生活，下半生还能保个平安。可是，这厮嚣张惯了，不甘愿过平凡日子。回到乡下不久，他又秘密返回京城。史料记载，他是身穿女人衣服，打扮成老妇模样，才从老家三原潜回长安的。在长安城里，他住在同党司农卿陈景诠家里，暗中构思私人势力，企图卷土重来。此事被御史大夫王升发现，上告朝廷。代宗见他如此“不懂事”，就下令将程元振流放冷州。在前往冷州途中，被人杀死。具体是谁杀的他，历史上没有说。不过他仇家实在太多了，这样一个为非作歹的太监，无论是谁杀了他，都是应该的。
