在赵文华死后，胡宗宪又结好严嵩，馈重金进行贿赂。在严嵩被籍没家产时，其中就有胡宗宪所献的大量珍宝。投桃报李，胡宗宪的一掷千金自然讨得严嵩的欢心。在胡宗宪被弹劾时，严嵩屡次帮他化险为夷。胡宗宪最后的下狱，就是因贿求严世蕃作为内援的信件而引起。要说胡宗宪不是严党，谁会相信呢？
其次，胡宗宪侵吞军饷、生活奢侈，这是不争的事实。胡宗宪通过在浙江加派“提编”等额外税赋和请求留存浙江盐银等手段，聚敛了数额巨大的钱财，有“总督银山”之称。其中，有一些花费是用在招抚倭寇上。很早就有人对胡宗宪的贪污行为提出弹劾，胡宗宪上疏自辩称：“臣为国除贼，用间用饵，非小惠不能成大谋。”这固然说出了一部分实情，但在帝制时代，这种非正常的行为最终会给他带来极大的负面影响。实际上，这些钱财中的大部分还是供他自己挥霍的。据传，有一次，胡宗宪宴请织造太监和李子元等人，居然用两百名侍女陪饮，到了晚上，这名太监拿出五两金子表示感谢，胡宗宪冷笑一下，不予理睬。李子元仅赏了一两金子，被胡宗宪当场扔到了水里，还笑着说：“您这是在羞辱我吧！”还有一次，胡宗宪迎春宴客，张灯结彩，绵延数里，鼓乐之声震天，侍女跪地迎送客人，极尽奢华之能事。再有一次，严嵩的义孙锦衣卫严鹄路过杭州，胡宗宪自然大肆铺张，盛情款待，而且还推荐丽妓让其留宿，严鹄推辞不就，胡宗宪就说：“你这是为难我吗？那我就先行了。”胡宗宪竟然拥着别的丽妓先睡了，直到第二天天亮才走。这些虽然都是笔记杂谈中记载的传闻，不能全信，但也不能不信。以胡宗宪微薄的俸银根本无法维持如此奢糜的生活，他的所作所为自然会引起朝中大臣们的非议。胡宗宪成为众矢之的，也就不足为怪了。
