霍家人就这么折腾，可汉宣帝没工夫搭理他们，因为霍光没了，他需要亲自理政了。虽然当时的尚书是霍山，按照之前的规矩，给皇帝上书都是要通过霍山的，不过汉宣帝下了旨，如果以后官吏和百姓有什么私密事情要上书，可以不必通过尚书，直接给我上密封的奏章就可以了。
这只是个开始，后来不知怎么地，有一个消息慢慢的流传开来，就是许皇后被害的主使是霍光的老婆霍显。汉宣帝只知道，当初他想追查到底，后来被霍光给压了下去，弄的自己是一万个不痛快，现在听到这样的风声，他也不知是真是假，不管怎么地吧，汉宣帝是开始动手了。
首先是霍光的两个女婿，汉宣帝把他们分别调离了原来的工作岗位，要么改任他职，要么外出做官，这样宫内的兵权就回到了汉宣帝自己人的手里。接下去，汉宣帝又对霍家的直系子弟动手了，套路基本一样，有的是外出做官，有的是脱离了带兵岗位。对于霍光的儿子霍禹，汉宣帝做的是最谦虚，他把霍禹升了官，当了和霍光当年一样的大司马。这名字是很好听，可这回霍禹的右将军没有了，虽然是升官了，可霍家人手里基本没有兵权了。
也许您要问，以前这朝廷都是靠霍家人支撑着，现在你把人家都调离岗位了，那活谁干啊？这可不劳您费心，因为汉宣帝有自己的班底，那就是岳父许家，还有祖母史家。
