其实徐枋作为遗民在康熙朝之后在江南名声很重，很多人钦佩他的节气从而众筹出钱买徐枋的画作，另外也有很多有钱人都希望买徐枋签名的字画来显摆身份，所以徐枋想要靠卖画维持温饱其实很容易。但是他没有选择做一名画家生存，只有在迫不得已的情况下徐枋才出卖画作维持生存，毕竟他一直遵守遗命活下去。生活的贫苦使得徐枋的家人先后离世，徐枋的四个儿子由于营养不良，长年挨饿导致身体损伤最终先后去世。唯一的女儿因为冬天缺乏保暖的衣服染上寒疾在3岁时去世。
徐枋本人也是不断染病：
1657年十一月初九日，徐枋突然身患重病，呕吐不止，不能进食，以至于到了十二月都没有排便，到了正月徐枋一度认为自己命不久矣，想要立下遗嘱，最后还是在医生的治疗下生活了下来，不过徐枋由于身体损害已经两鬓斑白。
1671年，徐枋身患血痢，病痛两个月才逐渐恢复。
1673年八月徐枋大病一场，病了一个月以至于翻个身体都需要家人的帮忙。期间姐夫吴祖锡，最后又是大病，直到九月末才复原。
1675年，在为另一名明朝遗民，也是同属“海内三遗民”的沈寿民做传时发病，最后还是恢复。
其实徐枋想要荣华富贵也很简单，清朝对于明朝遗民的招抚并未停止，尤其是自称“自古得天下之正莫如我朝”的康熙，康熙曾经大肆招揽明朝遗民，在康熙九年（1670年），十二年（1673年），十三年（1674年）先后三次收录遗民，不过大部分明朝遗民依旧不与清朝合作，最后康熙在康熙十七年（1678年）搞出了博学鸿儒，不过依旧只有100多人参加，康熙四十二年（1703年），康熙西巡到西安，想要见一下明朝遗民李颙，可是李颙也只是让儿子带着两本自己写的书进献给康熙，并且推辞不见。
而作为清朝的儒学官员，一方面代替康熙招揽明朝遗民，另一方面作为儒家士人，他们也想见一见这些气节之士。徐枋作为“海内三遗民”，很多清朝官员对于徐枋十分钦佩，都想帮助徐枋或者慕名见上一面。
川湖总督蔡毓荣想帮助徐枋，但是不敢直接帮助，于是托人送上药材，但是被徐枋拒收。
康熙朝的理学名臣汤斌担任江苏巡抚，汤斌十分仰慕徐枋，几次前往天平山上沙村，就是为了见徐枋一面，而且还是采取以平民的身份相见，但是徐枋依旧拒绝见面。
江苏巡抚宋荦仰慕徐枋为人，在徐枋去世后想要出重金抚恤徐枋家人，依旧被华氏母子拒绝。
作为遗民，徐枋靠着自己的生活方式艰难得和世界做抗争，虽然苦难重重，但是他依旧没有放弃。
去世
康熙三十三年（公元1694年），徐枋写下绝笔后去世，家族之中只有儿媳华氏，以及孙子徐夏官存活，好友杨震百以及外出未归的弟子潘耒作为托孤之人。由于徐氏家族因为1661年清朝清查税收的事情和徐枋闹翻，拒绝徐枋进入祖宗的墓地。儿媳华氏一方面拒绝了江苏巡抚宋荦的捐款，一方面想要卖掉草堂埋葬徐枋，但是被潘耒阻止。
潘耒自身为徐枋寻找葬费。而周茂藻也在遗民中为徐枋募捐，但是大家都很穷，都筹集不到经费，最后是徐枋的好友遗民戴易卖字得到了40多金，随后潘耒筹集了70多金，买下了一块地得以安葬徐枋，此后戴易再度卖字筹集30多金种植松柏，徐枋的葬礼才得以成型。
至于华氏和徐夏官在徐枋去世后困难重重，最终也相继去世。
徐枋的绝笔之所以让人感慨万千以至于潸然泪下，是因为徐枋的一生正是中国历史上气节的象征，在明末清初的历史舞台上，无数的士人，武将，王公贵族为了荣华富贵而丑态百出，诸如洪承畴、吴三桂之流不惜充当汉奸，挥舞屠刀砍杀本族人民为满族统治者效力。但是却有一批士人为民族精神与满清统治者相抗争，他们目睹先进的文明地区被屠戮压迫，从而奋起与满清统治者相抗衡。徐枋只不过是其中的一个代表，从某种意义上讲也是中国士人精神的一个体现，这些儒家士人用自己的一生诠释了一个道理：什么叫操守。
