公元705年，以张柬之、崔玄暐、敬晖、桓彦范、袁恕己、姚崇为首的六位大臣趁着武则天病重，借口其男宠造反发动了神龙政变，逼迫武则天禅让于李显，恢复了李唐江山。事成后，群臣庆贺，大搞派对。唯有姚崇在低头痛哭，众人忙问原因。姚崇边哭边说，“则天皇帝非常信任我，对我委以重任，我跟你们这帮人除叛逆是我的本分，哭泣则天皇帝退位亦是我的本分。”听完这番话之后，众人认为姚崇是个傻子，于是便不再理会他了。
神龙政变成功后，李显上位恢复了大唐江山，除了姚崇之外，其余五人都封了王，不过下场都很惨。神龙政变其实并不是要对武家赶尽杀绝，只是想让武则天交出皇帝宝座。所以在朝中依然有许多武家的门生故吏，其中最大一股势力当属武三思一派。对于这帮人逼迫武则天退位一事，武三思十分不满，于是他将韦后淫乱后宫的事大肆宣扬，嫁祸给这五人。事情传开后，唐中宗李显大怒，他将敬晖、桓彦范、袁恕己打入大牢，这三人不久后便被虐杀。
张柬之、崔玄暐这两人则是忧愤病死，当时发动神龙政变的几位主要大臣只有姚崇得以保全，一直活到了玄宗一朝。