在东晋人看来，跟随晋元帝司马睿过江，协助建立东晋王朝、号称“王与马共天下”的琅琊王氏，是当时当之无愧的第一士族，东晋建国之初，琅琊王氏的王导实际把持了行政权，而王导的堂弟王敦则把持了军权，王敦在后来甚至发动叛乱、率兵攻入建康（南京），以致晋元帝司马睿最终忧愤而亡。
琅琊王氏在王敦之乱后有所衰落，随后，作为晋明帝司马绍的国舅，颍川庾氏的庾亮家族开始崛起，但由于庾亮逼反苏峻导致苏峻之乱，加上北伐失败，颍川庾氏的势力被迫退出东晋中央，随后，庾亮、庾翼兄弟先后坐镇荆州11年，成为雄霸一方、掌握军权的门阀士族。
庾亮、庾翼兄弟病逝后，作为晋明帝司马绍的女婿、来自谯国桓氏的桓温又取而代之出镇荆州，在荆州期间，桓温西伐四川消灭了成汉政权，又兼并了高平郗氏的军队，三次率兵北伐，一度进攻到长安和洛阳边缘，取得了辉煌的军事战绩，但在第三次北伐经历枋头之战的惨败后，桓温功业受挫，改而加紧篡位，但在陈郡谢氏、琅琊王氏等士族的联手抵制下，桓温最终未能得逞。
而从317年司马睿称帝建立东晋，到373年权臣桓温病死军中，短短56年间，东晋政权先后被琅琊王氏、颍川庾氏、谯国桓氏等世家大族把持控制，以致司马家族的皇权经常处于号令不施的尴尬境地。
而在士族内部，门第也分为高等士族和低等士族，因此，来自陈郡谢氏、家族成员被高等士族拒婚、甚至被斥落为“新出门户”的谢安明白，即使神童盖世，他也只是一个次等士族的家族成员，如此而已。
所以，谢安需要往上走。
于是，就在公开抗拒桓温的20年前，东晋永和九年（公元353年），谢安跟随着出身琅琊王氏的王羲之，来到了浙江会稽山上，参加兰亭雅集。
因为王羲之的一篇《兰亭序》，东晋永和九年，注定将是一个载入史册的年份，在这场暮春时节的盛会中，来自东晋第一名门士族琅琊王氏的王羲之，与同游的一帮士族亲友们一起开怀畅饮，后来，在《兰亭序》中王羲之写道：
“是日也，天朗气清，惠风和畅。仰观宇宙之大，俯察品类之盛，所以游目骋怀，足以极视听之娱，信可乐也。”
文中的所谓“品类”，指的其实就是与会的各位士族代表，只是这些“品类”之中，在王羲之看来，包括来自陈郡谢氏的谢安在内，当然都是他琅琊王氏的跟班罢了。
谢安有自知之明，但他也有胆。
有一次，谢安与孙绰、王羲之等人乘船出海，风浪越来越大，大家都想要返航靠岸，但谢安却神情自若“貌闲意悦”，船夫也有意思，一直摇船前进，风浪愈发汹涌，小船颠簸不止，同行的王羲之等人被吓得面目惨白，“皆喧动不坐”，一直到这时，谢安才不紧不慢地说，既然大家害怕，那就回去吧？
于是众人高叫说：回去！回去！
此次海上遇险，事后众人都说谢安“足以镇安朝野”，以致于后来王羲之跟士族刘尹说，“故当共推安石（谢安的字）”，刘尹也说，谢安隐居会稽东山，“若安石东山志立，当与天下共推之。”
作为一名低等士族的年青代表，谢安明白，他参与王羲之的聚会party结交显贵，出海遇险悠游从容，甚至经常带着妓女在他隐居的会稽东山赋诗作文，这既是一种政治手段，也是一种所谓彰显名士风流、博求名誉、待价而沽的手段。
有一次，谢安邀请友人前往临安山中，他坐在一间石头房子里，面对深谷、闭目遐想，然后叹息说：
“如此境界，与伯夷相差又有多远呢？”
伯夷，指的是商朝末年隐居首阳山的孤竹国君之子。
当时，谢安患有鼻炎，说话吟诗的声音都不够清亮，但时人却美其名曰称为“洛生咏”，意思是谢安的声音，代表着西晋首都洛阳的正统读音，因此时人竟然以捏着鼻子学习谢安读书吟诗为时髦。
在魏晋时代九品中正制盛行，选拔人才按照主观标准分为三六九等的时代，善于隐居作秀、又时常参与士族高层聚会博求名誉的谢安，在东晋士族互相吹捧的风气中，加上自身确有才华，因此以致到了后来，有了“东山不出，如苍生何”的说法，意思是说，谢安如果不出仕做官，那么天下苍生可怎么办哪！
