然而，随着康熙之死，曹氏家族失去了最大的支持。雍正一上来，就自然而然地遭到了腐败和贿赂多年的曹氏家族的袭击。但是，摧毁曹氏家族的主要原因不是腐败，而是因为曹氏的“家族”选择了巴阿格银湖，雍正如何容纳他们?雍正六年年，曹氏家族遭到洗劫，庞大的曹氏家族一夜之间被击败，曹氏家族的后代散布在各地，真是令人感动。
当雍正皇帝下令对这所房子进行洗劫时，曹家的财产仍然剩下多少?恐怕我无法相信。在清朝的史料中，没有找到曹氏家族的原始清单，但有关曹氏家族财产的信息比较全面。早在康熙五十四年(1715年)，曹初被任命为江宁织布人，他就向康熙皇帝报告了他的家族财产。他提到，除了数百间房屋外，只有一家当铺，资本为7,000两。没有其他行业。
十多年后，曹被解雇并没收。继任的江宁知府随和德向雍正皇帝报告了曹氏家族的财产：共有13栋房屋和家庭住宅，总计480座。共有8处，共19公顷，占地67英亩。家庭中有114位男女，共欠曹银32,000两两，一百多票。