当时的部队不管是东晋还是北方诸胡所用的主用兵器基本一样，通俗的讲就是步骑五兵，即枪、刀、剑、弓矢和盾牌。这与汉末三国时期的兵器大体相同，但也出现一些新的变化。比如由于冶铁技术和士兵防护能力的发展，晋军的装备的枪穿甲能力要更强一些。
首先说刀，当时部队里装备的刀是比较流行的环首刀。该种刀的刀身窄而直，刀尖下斜，刀柄一般是在铁芯外包裹木把，缠绕丝绳。
这种刀属于短刀的范畴，既适合劈砍，也可用来击刺，使用非常灵活，是一种非常适合步兵的兵器。
但是这种刀不适合骑兵，考虑到未来征战中原时骑兵才是主要的兵种，桓温决定为骑兵打造一种专用的刀，那就是长柄大刀，这种长刀是桓温根据唐朝时代陌刀改良而来，这种刀柄长而刀身宽，两面开刃，通长一丈，在骑兵冲锋之时可以利用刀身长的特点率先刺杀对方，但是缺点就是有重，重约十五公斤左右，但是好在当时的士兵普遍力气比较大，所以在稍加训练之后，也能够轻松驾驭这种长柄大刀。
第二是剑，由于剑身细窄，实战中主要用来劈砍，其强度不如刀，实战效果也不如刀，因此桓温决定不再将剑大范围的装配到一线部队，而只是将它作为将领防身所用或者装饰用品，这也使得佩剑逐渐成为军中等级的标志。
第三是弩，弩是一种远射武器。东晋时期的弩机与汉代的制式弩机相比没有多大演化。之所以没有太大改进，不是时人创新程度不够，而是汉弩机已达到冷兵器时代单兵弩机的技术巅峰。
当时两晋军队用弩很普遍，当时单兵用弩主要用于战阵中的防御，特别是立营以后的固定防御，或是步兵阵中的防御。
但是桓温在与北方胡人的征战中发现，北方胡人军队都很擅长马上骑射，远射武器主要是弓，弓完全靠人力发射，相较依靠弩机发射的单兵弩，力量较小，稳定性和精确度也差，然而弓使用灵活，机动性强，单位时间射击数量多。
正是基于此，桓温决定在装备传统弩机的同时，决定学习胡人军队的先进经验，也大规模的装备比较轻便的弓，这样可以使士兵战斗之时更加灵活。
大型弩具方面，桓温改良了传统的弩车，将大型弩具安装在安装在战车或固定机架上，弩力可达到1500斤，弩弓长度可达5米，需要多人合力、依靠绞机才能张弦。
为了适合这种大型弩车，桓温又大胆启用了大型弩矢，桓温改良的弩矢矢长90厘米，镞长21厘米，矢身周长15厘米。
经过实际测试发现，经过这种弩车射出的弩矢威力相当惊人，不但射程达到了惊人的1000米，威力也是相当惊人，不但可以轻易穿透对方的木栅、盾牌等防御工程，甚至可以推毁石头修筑的防御工程，近距离的射击的话甚至可以穿透城墙和击毁木质的楼船，堪称大型穿甲弹的存在，是当时北府兵装备的主要的远程攻击武器。
第四是铠甲，在铠甲方面，东晋部队当时仍然沿用三国时期的黑光铠、明光铠、两当铠等甲具。两当铠形制最为简单，由一片胸甲和一片背甲在肩上用革带前后扣联而构成，主要的功能就是保护前胸和后背。
明光铠形制较为复杂，该甲在前后心都安装了一大片明亮的金属片，能够像镜子一样反射日光，俗称“护心镜”；由于该甲其实是铁制扎甲，因其在阳光下甲片耀眼而得名。
明光铠防护力较好，除了护胸和背甲，还有护颈的盆领，更有保护肩臂的披膊和保护大腿的膝裙。
这种铠甲价格低廉，能够配属使用到低级军官身上，是当时部队的主要制式防护用具。
此外，东晋军队还曾装备过一种据说是诸葛亮所制的筒袖铠和铁帽，这类铠甲能够抵御二十五石弩的超级硬甲，但是十分的笨重，瘦小一点的士兵甚至会被这种铠甲自身的重量就给压扒下，正是因为太过笨重，所以桓温果断摒弃这种铠甲，只在北府兵中大规模装备防护效果较好的明光铠。
除了人穿铠甲，战马同样装备有马铠。其实马铠早在三国时代就出现过，曹植就曾经自述有“马铠一领”。马铠有的简陋，比如只配有防护马头、马胸的；有的完备，由一系列的面帘（护马头）、鸡颈（护颈）、当胸（护胸）、马身甲（护躯干）、搭后（护臀）和竖在马臀上的“寄生”（遮挡来自后面的流矢）组成。
战马装上完备的马铠，马上的骑士再穿上明光铠之类的重甲，配备弓矢和马矟，这便是当时名震一时的“甲骑具装”。
这种重型骑兵在北方少数民族军队中较为常见，战场防护能力强，冲击步兵战阵的能力也比较强，宛如一座小型的移动堡垒，在两晋时期是名副其实的骑兵之王。
东晋虽然地处南方缺少战马，骑兵部队较少，但由于北方政权重装骑兵的兴盛，所以不差钱的桓温也决定给北府军骑兵部队装备装备马铠，在桓温财力的加持下，当时北府军战马的披甲率达到了惊人的97%，甚至超过了北方胡人骑兵部队的披甲率。
除了马铠之外，马镫也被桓温应用到了骑兵当中，在西晋之前骑兵是没有马镫的，只有一种类似马镫的帮助上马的器具，这种器具也具有双马镫的一些基本形态，可以供人上马时蹬踏助力，但不能用于骑行过程中的踩踏。
桓温根据后世的经验发明出了现代意义上的，这种双马镫可以供骑兵前进时使用，使得骑士能够借助腿力保持身体稳定，即使高速冲锋时也不必再手抓缰身，同时还可以在马镫上站力，使骑士得以发挥全身力量进行格斗。这件装具的出现，极大的提高了骑兵的作战效能。
北府军除了步骑之外，桓温还建立了强大的水军，这与大型楼船的出现密不可分。西晋时水军便已有发展，西晋灭吴前，抚远大将军王濬就曾在蜀地大造楼船，楼船顺流而下，直到下游还能看到。
东晋南渡后，造船和使船的技术更加完善。在桓温的大力支持与推动下，北府军也大规模建造了能容纳多达2000人的大型楼船。这种大型船只大多在内河航运，一则体积巨大，防护能力强；二则运输能力强，不论运送兵力还是输送后勤补给物资，都是陆地交通效率的数倍。
此外，桓温还根据自己的经验跟工匠们一起研究出了车船。车船使用了轮桨，轮桨与旧式直桨相比有很多优点。一是动力连续。直桨划水时，在桨出水时没有动力，而轮桨可以连续产生动力。二是协作容易。直桨船要增加动力，必须尽量多地配置人力，但是直桨越多，多人同时划桨，很难做到步调一致，造成人力浪费，而轮桨连续转动，不存在协同和人力浪费问题，极大提高了动力输出效率。
桓温之所以发明车船主要也是看到了传统楼船的缺点，那就是无法在大海里航行，桓温另一个隐藏在内心的想法就是待打败胡人实现天下一统之后，桓温也想派船前往台湾、琉球、苏禄、占城、爪哇以及那可恶之极的倭国去，早早在哪里建立起稳定的统治，也方便后世再出现领土纠纷之时，我们也可以有史可依，可以理直气壮的喊出哪句着名的“自古以来…”
强大的武器装备再加上超高素质的兵源，北府兵可以说已经是当时顶级的军队了，此时的北府兵就像一只待在笼子里的已经武装到牙齿的老虎，待到时机成熟，就会像猛虎下山一般威震天下了。
有了这支部队的加持，再加上东晋中央及地方已经完全被桓温掌控，通过土断又积累了大量的财富，解决了困扰朝廷多年的社会矛盾，同时也严重打击了士族的势力，扶持了寒族的崛起。
此时的东晋内部可以说是已经十分稳固，寒族阶层是绝对支持桓温，士族阶层也已分化严重，一部分彻底倒向了桓温，剩下的一部分即便是没有倒向桓温也绝对不会再敢捣乱了，这也就保证了不会再出现有人挚肘的事情了。
巨大的成就和绝对的掌控力让桓温冥冥中觉得，组织第三次北伐，一举统天下的时机已经成熟了。