就在桓温紧锣密鼓的在建康搞废帝立威一事的时候，前秦的苻坚也没有闲着，由于桓温灭前燕声势浩大，再加上成功消灭据守代郡、云中郡多年的代国鲜卑拓跋部政权，声威大振，周边各小胡族部落纷纷请求归附，这让同样出身胡族的前秦政权压力陡增。
为了安抚境内的其他胡族部落，苻坚决定全力营救尚切占据雁门郡的匈奴铁弗部首领刘卫辰，然后，桓冲率领的北府军战斗力实在是太恐怖，尽管苻坚最终派出了前秦最强大的阵蓉前去营救刘卫辰，但依然被桓冲率领的北府军一一击败。
为了不至于让匈奴铁弗部全军覆没，最终在前秦并州刺史、车骑大将军邓羌的劝说下，刘卫辰只得放弃雁门郡，率领整个部落全部西迁至位于五原郡的代来城，并允许在此筑城自卫。
其实匈奴原本没有铁弗部一说，都是统称匈奴，只是自五胡乱华之时第一个建立国家政权的汉赵政权灭亡之后，“匈奴”这杆大旗失去了号召力，匈奴后裔便开始纷纷重组，屠各、宇文、沮渠、贺兰、铁弗、独孤、稽胡等新部落也在这个时候先后出现。
而所谓的“铁弗”，是因为在当时的北方地区，人们都称呼父亲是匈奴人，母亲是鲜卑人的混血是“铁弗”，后来，在刘虎接任部部族首领之位后，便决定对外统一自称 “铁弗氏”，自此才有了匈奴铁弗部的统称。
从铁弗部的名称由来可以看出，匈奴铁弗部与鲜卑族有着十分紧密的血缘关系，理论上应该是亲密无间才对，但是由于后来各自的发展历程不动，两个原本亲如一家的部族也开始渐渐的反目成仇。
其实铁弗部首领刘虎最早是同鲜卑拓跋部一同依附于中原朝廷的，但是后来铁弗部首领刘虎自认兵强马壮，再加上此时的中原大地因为八王之乱而战乱四起，不愿久居人下的刘虎便也决定起兵反叛大厦将倾的晋室，妄想在乱世当中也占据一块地盘称王称霸。
而此时的鲜卑拓跋部首领拓跋猗卢由于受到中原文化的熏陶，坚决维护晋室的正统地位，为此不惜与其他胡族政权开战。
自元康五年开始，拓跋部首领拓跋猗卢便出兵攻打过匈奴、乌桓等部族，不但如此，他还重用卫操等晋人，还与晋室保持紧密关系，晋人归附拓跋部的情况逐渐增多。并且，拓跋猗卢还接受西晋并州刺史刘琨的求援，派军帮助刘琨抵抗匈奴等各部。
永嘉四年的时候，鲜卑慕容部作乱，匈奴铁弗部刘虎起兵响应，进攻雁门、新兴等地。受西晋并州刺史刘琨的邀请，拓跋猗卢派侄子拓跋郁律，率领两万鲜卑骑兵驰援刘琨，攻破鲜卑慕容部和铁弗部的共同进攻。拓跋猗卢也因此被晋怀帝封为大单于、代公，这也就是之后拓跋部代国政权的起源。
随后，拓跋猗卢又帮助刘琨多次击溃匈奴进犯，但是却无法阻止已经建立政权的前赵匈奴族势力的迅速壮大。在等到匈奴攻破洛阳，晋愍帝在长安继位之时，匈奴崛起之势早已不能轻易扼制。
晋愍帝为了让拓跋部发兵讨伐匈奴，加封拓跋猗卢为代王，将代公国提升为代王国，受此鼓舞，拓跋猗卢也派出拓跋部精锐骑兵，与刘琨共同征讨匈奴。
鲜卑拓跋部当时的确有与匈奴刘氏对决的实力，但后来拓跋内讧，拓跋猗卢被儿子拓跋六修所杀，继任的首领没有拓跋猗卢那样对晋朝的认同感，因此拓跋部与晋室的紧密关系迅速崩坏，刘琨在被石勒击败后也只能逃到幽州投奔段匹磾。
拓跋猗卢死后的鲜卑拓跋部，逐渐退出中原的角逐，重新返回北方“保守”发展。而反观铁弗部，因为同是匈奴部族出身，所以在当初被拓跋猗卢击败之后，便又归附了迅速崛起的匈奴前赵政权。
铁弗部首领刘虎，被前赵皇帝刘聪任命为安北将军、监鲜卑诸军事、丁零中郎将，从监鲜卑诸军事、丁零中郎将这两个官职就可以看出，此时的刘虎成为了当时北方各部族名义上的长官。在匈奴前赵政权强盛的背景之下，铁弗部算是翻身农奴把歌唱。
不过，虽然铁弗部有前赵政权做依仗，可以成为名义上统领北方诸部族的长官，但拓跋部自持自身实力的强大，基本上不怎么鸟铁弗部，这让铁弗部首领刘虎很生气，因此便决定教训一下拓跋部，最终在在太兴元年的时候，刘虎率铁弗部渡过黄河，进犯拓跋部的西部，但是由于铁弗部太菜，被当时的拓跋部首领拓跋郁律率军轻松击溃。刘虎被迫逃到塞外，而刘虎的堂弟刘路孤率领部众归附拓跋部。
当初被击败的铁弗部刘虎不服气，又四处召集各部族，准备重新组织力量再次进犯拓跋部，最终在咸康七年的时候，觉得实力差不多的刘虎再次率众又进犯拓跋部西部，而此时的拓跋部首领就是大名鼎鼎的拓跋什翼键，在拓跋什翼键的率领下，拓跋部再次大败铁弗部，刘虎受不了这个打击，最终郁郁而终。
之后刘虎之子刘务桓继位，刘务桓很识时务，知道自己打不过拓跋部，因此便主动派遣使者向拓跋部归附，拓跋什翼键也明白和平的重要性，因此便将自己的女儿嫁给了刘务桓。由此，铁弗部和拓跋部之间，有了十几年的缓和期。
而后刘务桓去世，刘务桓之弟刘阏头继任首领之位，对代国渐渐心生叛逆之心。
刘阏头没在位几年便去世了，其子刘卫辰继位，刘卫辰阴险狡诈、野心勃勃、性格反复无常，先后投靠后赵石虎，后赵完了后又投降羌族首领姚弋仲，前燕崛起后又投靠前燕，反复无常的性格让拓跋什翼键很是反感，于是双方再起战争，刘卫辰依然打不过拓跋什翼键，最终刘卫辰选择依附如日中天的前秦政权，准备借助前秦的力量剿灭拓跋部，没成想还没有出征，代国就被桓温所灭。
苻坚是一个好皇帝，也是一位好大哥，在连续派出了几拨人都无法击败晋军的情况下，苻坚选择从自己的辖地划出一部分地盘给刘卫辰，好让他休养生息。
可是刘卫辰到底不是个安分的人，他并没有按照苻坚的要求在代来城好好休养生息，积蓄力量，而是选择了联络其他几个同属于匈奴的贺兰部、孤独部等部族，准备鸠占鹊巢，占领整个五原郡。
如此雕虫小技，又怎能逃得过苻坚的法眼，最终在苻坚忍无可忍的情况下，派兵攻打铁弗部，刘卫辰再次被击败，逃到阴山西北一千多里。好在苻坚并未想要惩处刘卫辰，在得到刘卫辰永不再叛的保证之后，依旧让其统帅河西部族。
在解决了刘卫辰的事情之后，前凉国内又发生了叛乱，面对这个千载难逢的机会，苻坚当即立断，果然派出了武卫将军苟苌率军讨伐前凉。准备在与东晋大战之前，一次性解决前凉问题