北府兵的蓬勃发展大大出乎了桓温的预料，原本只是想要安置一下无地流民的工作，解决他们的生存问题，但是流民们对胡人刻骨的仇恨以及打回故土的强烈愿望深深的震撼了桓温，也让桓温意识到这支军队若是利用好的话，极有可能会成为自己统一天下的利器，同样也会成为自己建立霸业的基石。
因此，为了更好的培育这支军队，将它打造成一支像战国时代魏武卒和秦国锐士那样的精锐部队，桓温决定亲自来领导和建设这支部队。
首先，为了彻底掌控这支军队，同时也基于洛阳之战时士族将领不敢迎战的拙劣表现，桓温决定将北府兵里面的出身于士族的将领全部清理出去，甚至连谢安的侄子谢玄都被清理了出去。
按理来说，谢玄确实是一名优秀的将领，自从军以来，作战勇敢，指挥有方，在军队当中屡立战功，是一个不可多得的优秀将领，但是因为谢玄出身于顶级门阀陈郡谢氏，为了排除士族阶层的干扰，建设一支全寒族将领组成的军队，桓温还是忍痛将谢玄清理出了北府兵系统，将他调到了兖州刺史朱序手下担任建武将军。
清理出士族阶层的将领之后，桓温又将出身寒族的将领东海郡的何谦﹑琅琊郡的诸葛侃﹑乐安郡的高衡﹑东平郡的刘轨﹑西河郡的田洛﹑晋陵郡的孙无终等人安排进了北府兵军队里面担任领兵将领，这些人皆出身寒族，在没有投靠桓温之前，又都曾是领兵一方的流民帅，在江北等地率领流民跟胡人作战多年，只不过规模都不大，在桓温北伐之时，摄于桓温的威名而先后投靠桓温，虽然作战勇敢，战功赫赫，但是因为出身寒族的缘故，所以在军队当中迟迟得不到提拔。
桓温将他们安排进北府兵系统里面之后，因为北府兵的兵源就是流民，所以跟他们有一种天然的亲近感，更加有利于增强军队的凝聚力。
解决了将的问题之后，桓温又着手解决兵的问题，熟悉现代军队建设标准的桓温很清楚士兵在精而不在多，因为流民的来源比较杂乱，身体素质也参差不齐，为了将北府兵建设成一支精锐部队，桓温决定严格选拔士兵，限制军队人数，将身体素质不行的全部剔除出去。
桓温选拔士兵的要求不仅仅是身体强壮，还要能够吃苦，最简单的要求就是需要携带三天吃的军粮以及各种武器装备连续急行军一百里，因为古代都是步行，所以三天吃的军粮加上各种武器设备，重量基本上都超过一百斤，背着一百斤的东西在一天之内急行军一百里，对任何人来都是一个极大的考验。
经过严格的选拔测试，当时已经入伍的八万士兵当中仅留下不足一千人，基本上一百个人才能留下一到两个，选拔标准可是说是相当的严格，严格到连桓冲都忍不住的抱怨，建议桓温放宽一下选拔标准，但是桓温就是要精益求精，因此坚持这样的选拔标准，最终桓冲拗不住桓温，为了补充兵源，只得再次到京口各地继续招募流民，在又招募了二十多万流民之后，才勉强凑齐了五千名符合标准的士兵，但是即便这样，桓温依然不肯降低标准。
既然在京口招募流民人数已经达到了极限，为了吸引更多的流民来参军入伍，桓温决定采取大幅度提高待遇标准的方式来招募全天下的流民，由于北府兵属于私兵，不在朝廷的军队编制里面，所以北府兵的所有开支都由桓温自己的楚公府来支付，楚公府坐拥十郡之地，桓温所掌控的荆州又是天下最富庶的大州，所以财力自然不成问题。
桓温给这些士兵的薪水不但是其他部队里的十倍，而且桓温还建立了一整套的奖励制度：只要在战场上斩杀一人首级即为立功，不但可以得到财产的奖励，而且累功到一定程度还可以获得提拔；斩杀十人首级就可以获赠一亩土地，斩杀一百人首级可以获得相应的爵位。
不但如此，桓温还规定士兵战死之后不但可以获得生前俸禄的一百倍作为抚恤金，而且士兵生前所获得的所有财产、土地和爵位均可由其子女继承，同时免除一家人的赋税，让一家人都能够跟着沾光，在知道，在当时人头税可是很高的，人只要一生下来就得交税，一直交到死为止，一个家庭劳累了一整年所有的收成就是被各种各样的杂税给克扣的所剩无几，所以才会造成不管收成好不好都要忍饥挨饿的现象，所以桓温这种直接免除一个家庭所有税负的作法，对当时的人们是相当的有诱惑力。
而桓温之所以这样做就是免除了北府兵战士的后顾之忧，让他们在战场上更加卖命，每杀一个敌人，就代表着自己又可以多得到一些财产、田地，甚至获得爵位了。
正所谓重赏之下必有勇士，北府兵如此优厚的待遇，再加上桓温的赫赫威名，吸引了众多的人前来参加北府兵，但是由于桓温制定的选拔标准实在太高，所以经过了半年多的选拔之后，才勉强凑齐了一万人的符合标准的士兵。
有了这一万名标准非常高的士兵后，桓温又着手进行了编制改革，桓温将这一万人统为四个军，每军兵力有2500人，军之下有幢、队、什、伍等编制，一军有若干幢，一幢大致有10队，一队有10什，一什2伍，一伍5人，各个级别的长官分别是幢主、队主、什长、伍长。
部队编制完成之后，桓温又比照后世特种兵的训练标准培训士卒，再加上北府兵的大小将领皆出身流民，对同为流民的士兵有种天然的亲近感，吃住都跟士兵们在一起，甚至训练的间隙还能跟士兵们一起睡在田埂上，有什么事情大家也是相互帮助，彼此之间感情深厚，而这些都是出身士族的将领们无论如何都做不到的事情。
超高的待遇、能够同甘同苦的领导以及可以让后人蒙阴的身后事的安排，促使北府兵成为了一支铁血部队，他们可以共进退、同生死，团结力和凝聚力超强。
当然，战斗力和战斗意志是一方面，武器装备是另一方面，由于桓温完全是按照自己的私兵来打造北府兵，自然武器装备也是最顶级的，尽管由于历史的局限性桓温无法发明一些诸如火炮、火枪之类的热兵器，但好在桓温还拥有千年的智慧，因此在武器装备方面，桓温不吝重金，全部都是用当时最顶级的材质打造兵器，同时对兵器进行改良，这就让北府兵拥有了当时最先进的武器装备。