桓温在撤离关中前，还想把王猛一起带走，希望王猛能辅佐自己。
为了打动王猛，桓温让张盛带着华丽的车马去山里请王猛，同时许诺王猛在军中担任高军督护，希望王猛能够跟自己一起撤回东晋；
王猛看着华丽的车马，以及故友张盛，心中拿不定主意，他一面感念桓温的救命之恩，一面又觉得桓温做事虎头蛇尾，做事不够果断，虽有称雄之心，却又瞻前顾后，难成大器。
王猛犹豫不决之时，他的老师出来了，王猛的老师就是当年买王猛簸箕的那个老人，他觉得王猛是个可塑之材，所以决定亲自教授王猛兵法，王猛学习兵法并非死记硬背，而是善于从史料中寻找各种案例，从兵书中学会运用战略和战术。
久而久之，王猛就成了一个饱学之士，堪称拥有包藏宇宙之心，吞吐万物之志。
王猛的老师见王猛犹豫不决，便对王猛说道：“你出身寒微，而东晋政权到目前为止，门阀势力已经固化。在这种政治格局下，想要从中脱颖而出，就必须要有名门势力，寒子终究难出头，即使有出头之日，也最终难免被世家大族群起而攻之。”
一语惊醒梦中人，王猛不由自主的拍了一下脑门，感叹道：“老师就是老师，一语中的，就自己的出身而言，在目前的东晋政权里是绝无出头之日的，而桓温又没有抗衡整个士族阶层的决心，那么自已南下必然没有出路。”
受到老师启发的王猛便下定决心，不随桓温南下，于是便委婉的谢绝的张盛的好意，张盛见王猛决心已下，也就不便再多说什么，于是便回营向桓温复命。
桓温在知道王猛不肯跟随自己回东晋后，心中难免有些失落，此时京师情况危急，桓温不敢做过多的停留，在安排好撤退事宜之后，便带着无尽的失落之情，离开了这个曾经无限接近于成功的故都长安，匆匆的从原路返回江陵。
桓温从霸上撤军东晋的消息不泾而走，不少心存晋室的汉族百姓恸哭不已，几十年来他们受够了异族人的霸凌，日夜期盼的王师的归来，没成想王师仅仅归来几个月，眼看就要收复故都，却又要离他们而去，这让他们无法接受，因此不少人决定随晋军一起撤回东晋，他们拖家带口，带着妇孺老弱紧紧的跟在大军的后面，竟也有三千户之多；
然而，在桓温撤离的时候，苻健趁机派出大批部队沿途不断的骚扰晋军及撤离百姓，百姓都是拖家带口，行动不便，因此死伤惨重，桓温不忍些这些百姓再受苦，虽然带领百姓撤离会拖慢行军的速度，但桓温还是决定让张盛带领一万人专门护送这些百姓，而桓温因为担心褚蒜子的安稳，因此先行带领一部分兵力返回江陵。
在桓温撤退的同时，司马勋和王擢也在撤退，司马勋通过子午谷退回了汉中，而王擢则撤到了天水郡，此时的他已经不敢回姑臧了，因为张祚已经完全掌握了政权，前凉的政治势力都仇视王擢，因此为了保全自己，王擢撤到了天水郡，天水离前秦控制的扶风郡很近，万一有变，王擢就可以直接投降前秦了。
桓温撤到江陵之后，由于担心褚蒜子的安稳，所以并没有做过多的停顿，在短时间内就凑齐了三万大军，对外号称十万；
此时行动并不是为了击败姚襄，而是威胁姚襄尽快撤军，以解除首都健康的危机，因此为了震慑姚襄，桓温故意找了很多空船，然后率领大军大张旗鼓的沿长江顺流而下，大军乘坐的帆船和大批的空船在江面上浩浩荡荡，旌旗遮天蔽日，看上去声势十分的浩大。
桓温大张声势的作法很快就收到了效果，让蠢蠢欲动的姚襄立即收敛了许多，其实姚襄一开始也并没有真的打算进攻健康，只是受不住下面人的蛊惑，再加上这机会千载难逢，所以才有了想占领健康的打算，这几个月也是一直在秘密的调兵遣将，准备偷渡长江，占领东晋的京城健康。
但是当姚襄听闻桓温率领大军浩浩荡荡的顺流而下之时，受桓温威名的影响，姚襄担心自己好不容易积攒的家底又被一锅端，所以在思虑再三之后，最终决定放弃攻打建康；
而此时因为前秦军队都已被苻健从前线撤回关中，许多地方守备空虚，姚襄所部皆为北人，北人更加思念自己的故土，此时进军中原是个绝好的机会，所以姚襄决定调头北上，攻打前秦，收复故土；
等桓温率领部队抵达武昌的时候，姚襄的部队早已从堂邑县撤出，豫州刺史谢尚趁机领兵占领了这个地方，所以京城暂时安全了，但司马昱却又开始担心起桓温来。
因为桓温的大军声势实在浩大，不但吓到了姚襄，也吓到了司马昱，他以为桓温真的有十万大军，担心桓温来到京城之后如同王敦一般挟持朝廷，因此时的京城上下根本就无人能够阻挡桓温，所以在姚襄撤走之后，司马昱又急令谢安、王坦之带着朝廷的圣旨去武昌要求桓温就地返回，不得进京。
王坦之和谢安急匆匆的赶到武昌的时候，桓温也得知了姚襄撤军的消息，本就意欲返回江陵的他，在看到王坦之和谢安之后，也已明白了朝廷的用意，于是便故意对王谢二人说道：“看来朝廷防我胜过防贼啊。”
桓温这话让王谢二人都无言以对，所以沉默良久之后，谢安才站出来打破尴尬说道：“京城乃天子脚下，关系天下安危，还是少动兵革的好。”
听到谢安说出如此违心的话，桓温不觉得哈哈大笑起来，桓温本就无意进军京城，他知道王坦之和谢安此次前来，既是代表了朝廷，也是代表了京城内的顶级士族门阀，这些顶级士族门阀前段时间刚刚被司马昱招集起来共同应对桓温的崛起，同时京城也是他们的重要根据地，自然不希望桓温的势力延伸到京城来，他们的态度就是不管你桓温在荆州怎么闹腾都行，就是别来京城闹腾。
当然，为了安抚桓温，司马昱决定让出太尉的头衔给桓温，太尉自何充死后便一直由司马昱兼任，其实已经有名无实，此次让给桓温更多的是有象征性意义。
而此时的桓温对朝廷早已失望透顶，若不是挂念褚蒜子，他才不会管京城的安危来，而王坦之和谢安的到来更让桓温恶心不已，所以直接拒绝了太尉一职的授予，当着王谢二人的面，头也不回的带领大军又重新返回江陵了。