父辈抗清的失败
徐汧去世前不久，满清下达剃发令，剃发一般人都知道，也就是把头发剃成金钱鼠尾辫。剃头发这种事情在现代社会已经稀松平常，但是在古代却是一件大事。很多人喜欢用汉族的习俗来说明满清统治者的蛮横，但是在实际上这只是其中的一个原因。
更为深刻的原因是作为发达文明的汉人虽然在军事败于满清，但是在自我认知范围中依旧是以文明人和优等民族自居，把顺治皇帝和多尔衮代表的满族统治者视作关外的野人部落，所以在汉人看来汉人自身的生活习惯自然是文明生活的一种方式。顺治帝和多尔衮对汉人的心理状态十分清楚，于是强行推行剃发令，让金钱鼠尾辫成为征服者的象征，消除汉人的自尊，让每一个汉人看到自己的头发就知道自己是亡国奴，这种象征性的羞辱感自然激起了汉人的反抗。于是发生了江阴八十一天，嘉定三屠等等。
而徐枋的长辈们正是在这种反清起义中相继去世：
与徐枋的父亲徐汧相交的杨廷枢，也是徐枋的同乡长辈。1645年起，杨廷枢投身反清斗争，因为被人泄露消息，在外躲避后继续斗争，此后当地士绅出走，杨廷枢留下为抗清义军筹粮未走，1647年参与清朝提督吴胜兆据松江府抗清的行动，吴胜兆因为事败被杀，杨廷枢被清军逮捕杀害。死后被门生安葬。
忘年交也是长辈的陈子龙。陈子龙在弘光政权灭亡后多次组织义军举行反清起义，而且坚持不剃发，1647年陈子龙参与吴胜兆起义，此后被清军收捕，再被押送前往南京的途中，陈子龙跳水自杀，清军还残暴地将其凌迟斩首，弃尸水中。陈子龙门生王沄、轿夫吴酉等在毛竹港找到他的遗体，具棺埋葬。
授业恩师朱集璜，朱集璜在昆山县参与抵抗清军南下的守城行动失败，之后投水自尽。《明季南略》记载，朱集璜被清军逮捕杀害。
而徐枋本人也遭受了剃发的羞辱，在父亲去世后的大概四个月，当时为了躲避剃发的徐枋藏在松陵，结果被清军抓捕，在大堂上徐枋拒绝下跪，结果被清军把头发剪去。对于士人徐枋而言，无异于奇耻大辱，很多士人都是忍受不了这种屈辱而自杀，当时徐枋却选择活下去，因为他牢记父亲的遗命：活着。
另一方面父辈的抗清精神也很好激励了年轻的徐枋，他在此后也投身于抗清斗争之中，他曾经也参与明朝遗民的联动，试图秘密举行抗清行动，一方面是四处搬家，这里固然有其他生活原因，当时也有反清复明的原因的秘密联络有关系。
1646年到1648年，徐枋在父亲徐汧墓前结庐居住，取名“居易堂”。
1659年前往积翠山寺
1660年前往邓尉山
1661年来到梁溪常泰山
1662年在灵岩寺住持弘储的帮助下定居天平山上沙村
而弘储和尚支持反清复明的行动，徐枋作为弘储的“布衣弟子”在暗地里四处联络明朝遗民，当时有大量的明朝遗民举行集会。而且徐枋与自己的姐夫吴祖锡联系密切，吴祖锡曾经效力于永历和鲁监国，又在郑成功、张煌言手下做事，徐枋和吴祖锡联系很显然是为了反清复明之事。但是反清复明的行为由于清朝稳固统治而逐渐消散，于是做一个遗民成为徐枋的选择。
活着的痛苦
徐枋在做遗民的时候，困境来自于生活的贫苦。徐枋的家族本身由于是士族家庭，一般都会有田产，徐家也有六顷土地，不过是家族共有，徐枋一家可以从徐家集体所有的六顷田产获得一些田租生活。但在1661年，康熙帝为了制服江南反抗清朝的情绪，下令要求江南的田赋把十年以来的逃税全部交清，由此引发奏销、哭庙等案，徐枋由于是徐家主事的人，于是承担全部责任，选择逃亡，最终徐枋失去了全部的生活来源。
明朝的遗民在失去生活来源之后，各自发展了自己的谋生手段，黄宗羲办书院教书，巢鸣盛种制成小盒子出售，徐枋不会种田，维持温饱的手段是卖画，不过他的画他并不签名，因为他这种卖画并不是指望发家致富，而是只有在迫不得已的情况下才卖画。
