可以说，投身桓温的幕府，就有了强硬的政治靠山。
于是，谢安从新亭出发，许多友人都赶来送行，御史中丞高崧于是调侃谢安说：
“朝廷多次征召，你都高卧东山隐居不出，所以舆论才说‘东山不出，如苍生何’，如今你终于肯出山当官了，不知道苍生又应该如君何？”
沽名钓誉的谢安为了维持家族权势，不得不投靠政治大佬谯国桓氏，当时的时人一眼看清，对此，尽管桓温对谢安礼敬有加，但桓温的手下有时并不客气。
有一次，有人送给桓温一种名为“远志”的药草，这种药草很奇怪，根部叫做“远志”，叶子部分却称为“小草”，桓温有点困惑，于是拿起药草问谢安说：
“远志又叫小草，这同一种东西，怎么会有两种叫法呢？”
此时，桓温的参军郝隆也在座，只听郝隆一语双关地说：
“隐居不出就叫远志，出了地面其实就是小草。”
郝隆的意思，是讽刺谢安此前沽名钓誉多次拒绝征召，如今因为家族陷入困境被迫投靠桓温，却只能在军中当个文职的司马小官，如此仰人鼻息，也确实只是一棵小草。
倒是桓温作为幕主很会做人，桓温于是打哈哈说，郝参军这样解释也挺有意思。
但谢安却深有愧色，于是，就在进入桓温幕府一年后，公元361年，刚好谢安的弟弟谢万病逝，谢安于是借口奔丧，请假离开了桓温。在谢安看来，他在政治上投诚谯国桓氏的表态已经做够了，有了政治强人桓温的信任和加持，他在东晋朝中的仕途也势必将一帆风顺，另一方面，谢安也隐隐看出桓温的政治野心是篡夺司马家族的政权，因此他需要及早脱身，为自己谋求万全之策。
谢安回到建康（南京）后，逐渐凭借自身才干，做到了吏部尚书的高职，在当时东晋朝廷看来，谢安是名士，而在桓温看来，曾经做过自己手下的谢安显然也是自己人，有了内外的双层加持，谢安在建康混得风生水起，逐渐做到了吏部尚书的高职。
而在371年桓温带兵入朝废掉晋废帝（海西公）司马奕，改立的简文帝司马昱又八个月又忧愤而亡的背景下，当时东晋朝廷已经风雨飘摇，所幸在以谢安为首的整个东晋士族的集体抵制下，野心有余、魄力不足的桓温也不敢再进一步，最终，桓温被谢安等人周旋抵制，活活熬死于姑孰军中。
或许一直到病逝前，桓温才会真正明白，谢安这棵“小草”，原来真的是“远志”。
桓温死后仅仅两个月，谢安就被东晋朝廷晋升为尚书仆射，加后将军，并与尚书令王彪之一起执掌朝政。
谯国桓氏则在桓温死后，推出桓温的弟弟桓冲接任镇守荆襄，桓冲跟他的兄长桓温一样有能力，但却没有野心，更以东晋大局为重，桓冲甚至主动让出已经被谯国桓氏控制的江北扬州地区。
当时，前秦历经多年征战，最终于376年统一北方，面对自从五胡乱华以来，北方从未有过的政治强权，桓冲明白，东晋朝野上下只有团结一致，才能对抗北方的前秦，否则，长期陷入士族内讧、或者威胁司马家族皇权，必将导致东晋政权的覆灭，如果这样，那东晋的皇族与士族，都没有好果子吃。
于是就在桓温死后，东晋出现了一个内部和谐的稳定局面，但在对外方面，已经统一北方的前秦，则开始不断南下冲击东晋。公元379年，前秦在耗时一年围攻后，最终攻下汉水流域重镇襄阳，并俘虏了东晋梁州刺史朱序。
面对前秦军队的不断南侵，东晋孝武帝亲自下诏寻求良将抵御北方，对此，身为宰相的谢安挺身而出，毫不避嫌地推荐其长兄谢奕之子谢玄出任将领。
对于谢安的举亲不避嫌，就连谢安的政敌、中书侍郎郗超也感慨地说：“安敢于冒触犯众怒的危险举荐亲侄子，确实是英明的；谢玄一定不辜负他叔叔的推荐，因为他确实是难得的人才。”
当时，谢玄在被举荐前，只是征西司马兼南郡相，相当于太守级别，但在谢安的举荐下，东晋朝廷最终决定晋升谢玄担任建武将军、兖州刺史，并领广陵相，监督江北军事。谢玄上任后，立马在江北的津口（镇江）到晋陵（常州）一带募兵训练，并征集了刘牢之与何谦、诸葛侃、高衡、刘轨、田洛及孙无终等猛将入伍，组成了一支骁勇善战的北府兵，日后，由谢玄和陈郡谢氏家族组建的这支军队，将影响到东晋的兴衰灭亡和整个南北朝。
