桓温虽然攻占了邺城，但是因为前燕皇帝还在，政权的组织架构也十分的健全，所以前燕政权并没有崩溃。
因此在桓温占领了邺城之后，深知前燕势力并没有遭受毁灭性打击的他并没有做过多的停留，而是继续指挥大军北上，继续围剿前燕残余政权。
得益于邺城陷落对前燕政权的打击很大，因此其他几路大军向北继续推进的过程也越发的顺利，其中代表青州出征的宁远将军桓石虔在渤海郡击败渤海王慕容亮，迫使慕容亮率军一路北逃到范阳郡；兖州刺史朱序率军连续突破祝阿、清河二郡，又趁邺城陷落之际在建兴郡阵斩前燕宗室宜都王慕容桓，将战线推进到了后赵旧都襄国郡附近；豫州刺史桓豁在成功攻占了濮阳郡之后，又继续北上，成功占领了顿丘郡、魏郡、贵乡郡等地，然后又到邺城与桓温合兵一处，共同出兵上党郡。
上党郡是前燕的西部屏障，也是进入并州的主要关隘，由于上党邻近壶关，壶关是从前燕进入前秦的重要关隘，目前由前秦将领毛当据守，因此上党一失，不但并州受到威胁，而且前秦也会寝食难安，于是之前一直在坐山观虎斗的苻坚决定不能再袖手旁观了，于是立即派之前已经入驻河内郡的将军苟池和洛州刺史邓羌率领步骑2万火速回援壶关，并择机救援上党郡。
但是，有北府兵在手的桓温根本就不在乎这两万前秦军，此时镇守上党的是前燕宗室，南安王慕容越，慕容越也算是一员虎将，他认为上党城城高池深，之前前秦数次来攻都失败而归，现在几十年都没有到过这里的东晋军队更是不足为虑，因此根本就没有做充分的准备，而是继续在府里饮酒作乐。
而事实也确实如慕容越所言，上党郡由于地处边塞，历朝历代皆十分重视城防，所以将上党城修筑的十分的坚固高大，护城池也是水深河宽，要想攻陷上党确实是需要费一番思量。
好在桓温也积累了很多的攻城经验，他见上党城如此坚固，而且城头上的防御明显松懈，因此断定慕容越犯了麻痹轻敌的兵家大忌。
于是，为了在前秦援军到达上党之前攻克上党，桓温决定立即地道战的战术，一边派士兵日夜不停的挖地道，一边派人假装攻城，为了演的更真实一些，桓温甚至连配重性抛石机都用上了，但是因为上护城池太宽，所以很多石头并没有抛到城头上，而是砸在了城墙上，在城墙上砸出了好几个窟窿，慕容越但心东晋军队会夜袭，所以便派人连忙修复受损的城墙。
于是，白天桓温派人炮轰城墙，晚上慕容越就派人修复城墙，一个砸一个修，两边忙的不亦乐乎，而在上党城的地下，挖地道的部队则在日夜不停的挖。
最终，在晋军将士的不懈努力下，地道终于在前秦援军到来之前挖通，于是乎，在一个伸手不见五指的黑夜，在古老的上党城下，在一处废弃已久的院子里，一个黑影突然从地下钻了出来，这个黑影在环顾了四周发现没人之后，又连忙招呼其他人出来。
于是乎，一队队的晋军将士开始从地道里鱼贯而出，他们如同黑猫一般窝着身子，警戒的观察着四周，因为已是深夜，而东晋军队一般又都是白天进攻，晚上休息，所以劳累了一整天的前燕将士此时正在呼呼大睡，只有几个警戒哨在那里无精打采的来回溜达，此时的他们也是困意频频，不停的打着哈欠，自然是没有注意到那个偏僻小院的动静。
随着一队队的晋军小队钻出地面，他们趁着夜色又摸到了燕军军营里，他们首先解决了昏昏欲睡的哨兵，然后又偷偷的摸进了营帐里，看着在床上熟睡的燕军将士，这些晋军士兵根本就没有客气，直接掏出短刀结果了他们，可怜这些燕军将士还没有来得及反应，就命丧黄泉，在解决了一个营帐之后，这些晋军不分队又摸到了另一个营帐，一个营帐一个营帐的解决。
终于，在解决其中一个营帐的燕军士兵的时候，另一个营帐的燕军士兵起来小便，无意间看到了正在行动的黑衣晋军，于是一声尖厉的尖叫声划破了天寂，也唤醒了沉睡的军营。
领头的晋军将领一看事态已经败露，于是一边让身边的士兵朝天上放出了焰火，一边抽出刀来与已经惊醒的燕军士兵作战。
这些焰火是与城外晋军约定的信号，桓温在看到绚烂的烟火绽放在无边的天际的时候，不由的微微一笑，他明白，上党城已经被内部攻破了，于是桓温便对身边等待已久的豫州刺史桓豁发出了总攻的命令，于是，在上党城外瞬间亮起了无数个火把，这些火把把整个护城河照耀的通亮，无数的士兵开始脱下衣服强渡护城河，而身边的抛石机和强弩车也加大火力射击城墙。
在城外的晋军突然攻城的同时，已经攻入城内的晋军也派出了小分队来到了城门口，他们在解决了守城的士兵之后，放下了吊桥，于是晋军一涌而入，燕军的防御彻底的土崩瓦解。
而在睡梦中的南安王慕容越被惊醒后出来看到了冲天的火光与混乱的人群的时候，已然明白大势已去，此时的他再悔恨也已来不及，为了避免被俘，身边的亲兵们本想护送他突冲重围，然后，上党城的各个城门皆被桓温派人堵住，慕容越连冲了几个城门皆被乱箭射回，无奈之下，不想到俘虏的南安王慕容越只得再次逃回王府，在无限悔恨之中拔剑自吻了。
慕容越死后，剩下的燕军将士由于没了主心骨，再也没有斗志了，于是乎，该投降的投降，该逃跑的逃跑。失陷百年的上党城再次回到了晋朝的怀抱。
受命支援慕容越的前秦将军苟池和洛州刺史邓羌率军两万抵达上党城时，受到了桓冲率领的北府兵的顽强阻击，邓羌是前秦国有名的万人敌，早年追随苻洪时就南征北战，鲜有败绩，然而在遇到了以桓冲为首的北府兵时，竟然连一个回合都打不下来，当场就被北府兵教训如何做人，当场阵亡了一万余人之后，面对潮水般涌来的北府兵，自知敌不过的邓羌和苟池果断选择了当好汉，当即率军一口气逃回了壶关。
上党一战，桓温获得了全面的胜利，不但成功的收复了失陷百年之久的上党城，而且也成功的阻击了前秦援军，逼死了前燕宗室南安王慕容越。
更重要的是，有了上党城这个战略支点，桓温就可以向北威胁并州核心城市晋阳，向西也可以进攻前秦的西河郡，使前秦的北部边疆不再那么安全。