北府兵组建后，就在379年的江北淮南之战中，以5万兵力大破前秦的14万大军，显示了北府兵的凶悍战斗力。
但作为前秦的国君，苻坚显然认为，379年的淮南之战只是一个小挫折，不足言道。于是，太元八年（383年），前秦决定裹挟统一北方的余威，征集百万大军南下攻灭东晋，以求一统华夏。
这是一场有关华夏文明生死存亡的大战。
眼见前秦大军不断南下，镇守荆襄地区的桓冲放弃旧恶，主动率领10万大军向长江上游的前秦大军发起攻击，以求减轻长江下游建康的防守压力；桓冲甚至主动提出，将派出3000兵力协助防守建康，以拱卫东晋朝廷。
但谢安却一口回绝，只是回信说，希望将军镇守好荆襄地区，自己将在江北回击前秦大军。
对此桓冲义愤填膺地说，“谢安虽然有政治才干，但却没有将才，如今大敌将至，他却到处游玩，军事上也只是派遣一些少年抵御，并且军队人数还这么少，天下大势看来已定，我们就要集体沦落于胡人之手了。”
当时，不仅是桓冲忧心忡忡，就连陈郡谢氏内部的才干、北府兵的统领谢玄也万分焦急，他在率领8万北府兵出击秦军前，特地向谢安请教战略，但谢安却绝口不提军事，还带着他一起到野外郊游、大会宾客，展示自己的名士风度。
谢安或许是对谢玄绝对信任，又或许是，他对自己的安排也无有把握，唯有付诸谢玄能独力承担。
谢玄在万般无奈中奔赴前线，他毅然担负起了东晋朝廷的生死存亡重任。
最终，在淝水之战中，谢玄指挥8万北府兵大破前秦的20多万先锋大军，前秦大败，此后北方又再次陷入四分五裂，而东晋军队则趁机北上，将国土重新推进到了黄河南岸，从而为后来刘宋的建立和强盛奠定了根基。
淝水之战胜利的消息传来时，谢安正在与客人下棋，在看了一眼捷报后，谢安又若无其事的继续下棋。
倒是客人后来沉不住气了，追问谢安到底战况如何？
谢安这时才淡淡地说：
“小儿辈已经破贼！”
作为时人共同推崇的名士代表，以风度著称的谢安强行抑制着心中的狂喜，在送走客人后，他狂奔进屋，竟然将木屐的屐齿折断了都没有感觉。
此前在372年，当时年仅11岁的晋孝武帝司马曜在权臣桓温的监视下登基上位，373年桓温死后，晋孝武帝又在嫂子崇德太后临朝听政的情况下大权旁落，就在真正成年掌权以前，晋孝武帝司马曜内心都是非常困惑痛苦的，以致有一次他在建康皇宫中喝酒时，当看到一颗流星掠过时，司马曜竟然举起酒杯向流星敬酒，自言自语说：
“流星啊流星，敬你一杯酒。古往今来的帝王都跟你一样，转瞬即逝。人人都喊我万岁，可万岁天子世上哪里有呢？”
当时，司马曜身边左右的人听后都潸然泪下。
所以，当淝水之战晋军大胜时，当时已经22岁的晋孝武帝司马曜，显然不甘心皇权再度旁落，而致使司马家族沦为世家大族的傀儡和附庸，在此情况下，司马曜启用自己同父同母的弟弟司马道子执政，并处处排挤谢安，为了逼祸，并无野心的谢安决定以北伐的名义离开建康，并将政权全部交给司马道子。
于是，谢安被任命为都督扬州、江州等十五州军事，并出镇广陵，作出进军中原的态势。为了让晋孝武帝和司马家族放心，谢安还让人在南方的始宁建造了一座庄园，将家小全部搬到庄园里去居住，以表示自己将在平定北方后，举家搬迁过回隐居生活。
这当然只是一种表态，目的，则是为了让皇权放心，让司马家族放心。
就在生命的最后一年，东晋太元十年（385年），66岁的谢安因为重病被迫返回建康，当马车进入乌衣巷边的西州门时，谢安突然怅然地说：
“以前桓温在世擅权的时候，我经常害怕不能生还。有一天突然梦到我自己乘坐在桓温的车子上，经过十六里，然后看到一只白鸡，梦突然就醒了。现在回想起来，其实乘坐桓温的车子，就是取代他的职位。十六里，从那时算起刚好十六年，白鸡主酉，今年太岁在酉，我恐怕活不了多久了。”
作为魏晋风度的代表，他是淝水之战的压舱石，他和他的陈郡谢氏家族，也在淝水之战中声誉达到巅峰鼎盛。
