谢安当然是有想法的，但他只是在等待机会。
起初，东晋官方的司徒府希望征辟谢安为“佐著作郎”，谢安推脱生病不去；扬州刺史庾冰因为谢安有重名，屡次命令州郡县官去征召谢安，谢安不得已当了个把月小官，又急忙返回东山隐居；随后，东晋吏部尚书范汪举荐他担任吏部郎，他也不去。
如此一来，朝中有人自然看不惯了，说谢安屡次拒绝征召出仕，性格乖僻，应该终生监视，不得录用，对此，谢安“晏然不屑”。
但谢安的老婆却不乐意了。
当时，谢安的宗族兄弟中，谢安的大哥谢奕担任安西将军、豫州刺史，谢安的二哥谢据一度任职东阳太守、散骑侍郎，即使是谢安的弟弟谢万，也在兄长谢奕去世后担任西中郎将、豫州刺史，并领淮南太守。
有一次，家族兄弟聚会，满门富贵，唯独谢安却还寒酸示人，对此，谢安的老婆讽刺他说：“大丈夫难道不应该这样吗？”
对此，谢安故意用手捏着鼻子，半真半假地说：
“我恐怕也难免走这条路子啊！”
在谢安看来，他隐居山中只是待价而沽，并非所谓性情乖僻，只是一直等不到他心仪的职位而已。
不久，谢安病逝。
而自从两年前（383年）谢安主持淝水之战胜利后，司马皇族出于忌惮和功高盖主的想法，一直不愿意论功赏赐谢安，一直到此时，晋孝武帝才下令，追赠谢安为庐陵公。
随着谢安的去世，一直忧虑司马皇族加害的谢玄等陈郡谢氏的青年将领，也自动停止了北伐的脚步，而自从五胡乱华以来，南方千载难逢的北伐良机，至此也在司马皇族与士族的斗争倾轧中烟消云散。
谢安去世后三年（388年），在淝水之战中建功立业的谢玄也在忧虑惶恐中去世，年仅46岁。
晋孝武帝司马曜则在谢安去世11年后（396年），有一次司马曜跟宠姬张贵人酒后吐真言说，你年纪这么大，年老色衰，总有一天我要废了你。
当晚，越想越气的张贵人趁着司马曜醉酒沉睡，用被子将35岁的司马曜捂死了。
号为孝武帝的司马曜，最终却死于酒色和一床棉被。
失去了陈郡谢氏等士族的内部制衡，桓温的儿子桓玄也日渐坐大，到了大亨元年（403年），桓玄学习他父亲桓温，威逼晋安帝禅位，这一次，桓玄迈出了篡权的步伐，自立国号为楚，改元“永始”。
而在司马皇族与世家大族斗争倾轧不休的风雨中，代表寒门庶族的刘裕，最终凭借着当初谢安、谢玄等人建立留下的北府兵，打败桓玄趁势崛起，到了公元420年，刘裕最终代晋自立，建立刘宋。
那时，谢安已经去世，整整35年了。
一个属于士族和魏晋风流的时代已逝，属于寒门和新生势力的南北朝时代，开始了。
参考文献：
司马光等：《资治通鉴》，岳麓书社2009年版
田余庆：《东晋门阀政治》，北京大学出版社2012年版
易中天：《魏晋风度》，浙江文艺出版社2016年版
陈书良：《六朝人物》，天地出版社2018年版
方志远：《国史通鉴：两晋南北朝卷》，商务印书馆2017年版
但形势比人强，随着陈郡谢氏家族的陷入困境，谢安，终于不得不出仕了。
东晋升平三年（359年），谢安的弟弟谢万以西中郎将、豫州刺史身份，随同北中郎将郗昙兵分两路，北伐前燕，没想到谢万统兵无方，手中部队竟然在没有遇敌的情况下自行溃败，以致豫州治下的许昌、颍川、谯郡、沛郡等郡县尽皆陷落，谢万甚至单骑狼狈逃还，被废为庶人。
陈郡谢氏原本就是东晋朝中的低等士族，如今家族成员竟然如此不堪，眼看家族有因此败亡的危险，为了振兴家族名誉，谢安不得不考虑出山。
于是，就在谢万兵败豫州第二年，东晋升平四年（360年），谢安应征西大将军桓温的邀请担任他帐下的司马，当时，桓温的父亲桓彝早年就与陈郡谢氏有交往，而谢安的长兄谢奕也曾经在桓温军中任职，更为重要的是，以桓温为代表的谯国桓氏，是当时整个东晋朝中，最有实力的士族代表，桓温本人甚至率军攻灭了割据四川的成汉政权，并一度北伐进攻至长安周边，军威之盛为当时东晋之最，当时的势头甚至盖过了琅琊王氏。
