贞观二十三年(649年)，唐太宗驾崩，新皇帝李治登基。史书中特别提及，高宗即位后，曾专程亲自拜访过高阳公主的府邸，意在怀柔。然而，永徽四年(653年)，史载高阳公主骄纵，擅自谋求罢黜房遗直的爵位而夺之，于是诬告房遗直对自己无礼，被长孙无忌彻查而诱发房遗爱参与荆王李元景谋反案发，房家遭受灭顶之灾。下面小编就为大家带来详细的介绍，一起来看看吧!
对于这次皇室谋反案历来众说纷纭，结论各不相同。有人认为是宗室势力与长孙无忌元老势力较量后失利的结果，也有人认为是宗室势力想推举新人取代李治而遭到政治清洗，也有人认为是房遗爱参与魏王党谋反遭到诛杀等等。总之这次皇室清洗案涉及的人数众多，皇室勋贵荆王李元景、高阳公主夫妇、巴陵公主夫妇等均被赐死，房玄龄家族几乎被清洗殆尽。
吴王李恪，江夏王李道宗，以及九江公主驸马执失思力也牵涉其中，一时成为永徽年间的大案载入史册。高阳公主夫妇诸子流放岭南，根据其他资料显示高阳公主夫妇共有四子，家族覆灭后二代孙房沼，监察御史;三代孙房绛;四代孙房晦、房勋;五代孙房凝(字玄俭，晦子，郢州刺史，著有《支谟墓志》)、克让(凝子，光州剌史);六代孙房邺(邺，字正封，作有《少华山佑顺侯碑颂》)、房复，各人事迹留存较少。
房遗则无后，长子房遗直，受二弟的牵连贬为铜陵尉之后，举家迁往任上，遂在铜陵传嗣。房遗直身后四世之内，子孙皆已失考，据传世代均有在九华山入寺为僧者：五世孙名叫房阶，中唐时期做过大理司直;房阶的儿子名叫房鲁，字咏归;房鲁有个儿子名叫房重，字慕，曾任武功尉;房重有个儿子名叫房谔，曾任大理寺评事;房谔有四子，乃是房从约、房从绎、房从绚、房从绾。房遗直一支至今有后，均以铜陵为祖业，是为房玄龄之嫡脉薪传。
也有人怀疑，房遗直唯一保留性命十分可疑，而且高阳公主夫妇案发也与他密切相关。《新唐书》里起因是高阳公主窥视其“银青光禄大夫”这一散官之衔，考《全唐文》中亦有诏书可证，房玄龄可因开国之功加封一子为郡公，因尚高阳公主之故而宠冠诸婿的房遗爱必当仁不让，贞观末又擢升至右卫中郎将，故《新唐书》中所述实在匪夷所思。
而在《龙城录》中，相士给房玄龄说，房遗直会使房家绝后，房玄龄不信，但后来的人都认为这个相士说的是对的。通过此民间传说，我们可以肯定一点：房遗直是让整个房家绝后的人。再联系上永徽年间房遗爱谋反一事，遗爱和高阳公主被诛杀，房玄龄的儿子都被配流岭表，唯独房遗直因为继承父亲爵位而被留了下来，只被废为庶人，可以肯定，虽然不知房遗直究竟是何问题，但高阳公主意夺其爵位，她的死与房遗直也密切关联，房遗直本人亦存在重大的隐情。