杭世骏虽然是在议论当下时政，但是，语言却很是委婉，并且，说了很多客套话。但是，乾隆认为杭世骏是无中生有，言语不敬，一怒之下，将杭世骏革职。杭世骏在朝为官自然是深有体会，上朝时满族官员都是自主进殿，而汉员却要等点名方可进入，这足以说明“满贵汉贱”。
杭世骏回到老家之后，开始了悠闲自得的生活，并在扬州的一所书院教书，几十年如一日却还乐在其中。自由久了，难免放纵，于是，他就有了一个嗜钱好赌的习惯。虽好赌，但他从不贪图不义之财。可以说，偶尔赌钱，这也是杭世骏的一大人生乐趣。
杭世骏不再是朝中重臣，自由与富足的生活自然不能兼得，生活很是清苦。再加上，他赌钱从不在意输赢，很快便一贫如洗。他夫人已经去世，没有人帮助打理各种事宜，日子捉襟见肘，为了维持生计，他开了一家古董店，杭世骏也时常把自己的书画作品掺杂在其中卖出。
说是“掺假”，但是，杭世骏的书法也算一流，跟古人比起来也并不逊色。在他死后，他的书法作品甚至成了上等珍藏品。杭世骏后来也没有再娶，他只买了一位相貌丑陋的婢女为自己煮饭洗衣。在店里的后院，他种满了花草，打发时间、悠然自得。
收入可观的时候，他便喝上两壶，之后，趁着微醺在院子里闲逛。偶尔，他也会关闭店门，雇一艘好船到西湖深处游乐。一去便是数日，好奇的人们总会透过他店里的门缝看进店里有些什么，但也只不过是一些旧画破书等杂物，再无其他了。
