山桑之败很快传到了江陵，桓温再次笑的直不起腰来，这殷浩简直就是搞笑担当，第一次北伐半途而废，第二次北伐还没到敌境就被自己人给击溃，连个小小的姚襄都搞不定，还想打入关中？简直就是笑话啊。
笑归笑，闹归闹，在桓温大笑的同时，当年广陵之时曾被殷浩要挟的南康公主提醒桓温道：“你不觉得现在是彻底打掉殷浩的最佳时机嘛？”
经南康这一点拨，桓温立即停止了大笑，是啊，现在朝野上下对殷浩充满了怨愤和失望，何不趁此机会彻底将他打倒了。
于是，桓温立即挥笔写下了弹劾奏章，准备上书朝廷弹劾殷浩，南康公主拿过奏章来看了看后说道：“殷浩可是出自陈郡殷氏的大家族，你这写的罪行也轻了不足以彻底击垮殷浩，还是我来给你改改吧。”
于是，带着满腔的愤恨，南康公主挥笔写下了对殷浩的致命一击，桓温看后，也是连连称赞，于是对南康感叹道：“都说君子报仇，十年不晚，看来你比君子还恨。”
南康瞅了一眼桓温之后，便离开了，但她是带着微笑离开的，当年在广陵之时被殷浩欺辱之仇，终于得报了。
所以说，惹谁都不能惹女人啊。
于是，呈现在司马昱面前的桓温奏折上是这样写的：“殷浩承担北伐重任，但他无雪耻之志，培养亲信，妄生战乱，遂使贼寇得以残喘，于是奸逆四起，华夏鼎沸，百姓遭殃。派刺客行刺姚襄，造成他的恐慌，于是被打的丢盔弃甲。已经神怒人怨，被朝野抛弃，此类人渣，不杀不足以正国法，不杀不足以正官道、不杀不足以慰民心、不杀不足以警世人、不杀不足以告慰大晋亡灵。”
好家伙，连续用了五个不杀不足以xxx，看的司马昱也是大汗淋漓，他本能的以为这是桓温的意思，所以才会如此紧张，而在桓温之前朝堂之上弹劾殷浩的奏章都快罗成小山了，而司马昱都不感到紧张，而桓温的奏章却让司马昱感到紧张，就是因为当今天下，殷浩战败之后，朝廷已再无可用之兵，而桓温的荆州兵已是东晋朝廷惟一的成建制的部队了，若是桓温雷霆一怒，效仿晋元帝时王敦起兵进京清君侧，那司马昱也只能干瞪眼。
所以，若是这个时候司马昱还是不处理殷浩的话，那么可能连他自己的地位都不保了。
但是处理了殷浩之后，天下就再无压制桓温之人了，到那个时候整个东晋朝廷都得看桓温的脸色行事了，而这也是司马昱所一直在尽力避免的事情，面对群情汹汹，处罚殷浩是肯定的了，但是如何处罚就是一个技术活了，虽然桓温在奏章中大声喊杀，但是司马昱明白，殷浩是杀不得的，自晋室东渡以来，还没有因为战败而公开处斩过一个士族门阀的人士，若是因为此事斩了殷浩，那么必然引起其他士族门阀的恐慌，到时候就更没有人愿意为朝廷领兵打仗了。
正在司马昱为如何处理殷浩之事左右为难之际，褚蒜子也派人来询问殷浩之事，显然殷浩之事闹的动静太大了，连久居佛堂的褚蒜子也惊动了，这让司马昱感到更加的棘手。
不仅仅是褚蒜子，就连年幼的穆帝也在朝堂之上公开的询问司马昱如何处理殷浩，穆帝年幼，正值血气方刚之时，殷浩排除异己、逼反姚襄之事也让穆帝很气愤，虽然他还未正式亲政，但是已经为殷浩之事定下了调调：那就是逐出朝廷，永不录用。
至此，司马昱才打掉所有幻想，开始认真的处理殷浩之事了，于是便借殷浩已立军令状为由，将他免官，废为庶人，并流放到了东阳郡信安县。
对于朝堂之上的风云，远在谯城的殷浩竟然全然不知，此时的他还一心的想着复仇，虽然有谢尚的居中调节，姚襄直言不再与殷浩为敌，并主动迁出山桑，迁到了淮河以北的盱眙，与殷浩脱离了接触，但是殷浩又怎能咽下这口气，他决定故计重演，偷偷的集结部队，然后偷袭姚襄，并为此招回了戴施和刘遁。
此时殷浩的七万部队已经打没了一万，两万被姚襄吞并了，还剩下四万，这四万已经是东晋朝廷中央军的所有家底了，但是殷浩还是不加珍惜，准备集齐这四万士兵同时进攻盱眙，妄图一战而彻底消灭姚襄，出一口恶气。
尽管戴施和刘遁一再的规劝殷浩别再招惹姚襄，而是集中精力对付前秦，但是殷浩就像着了魔一样，非要置姚襄于死地不可，可就在殷浩一切准备就绪，要出兵攻打姚襄的时候，朝廷的圣旨到了。
当殷浩听到自己被废为庶人的时候，一下子就懵了，从一个年少时就负有美名的少年天才，到一个跟桓温齐名的明日成星，再到一个被废黜的庶人，如此大的转折让殷浩一下子接受不了，内心可以说是苦闷到了极点，当听说是司马昱亲自做的决定的时候，殷浩就更加的难受了：想当年自己是司马昱为了打压桓温而扶持起来的，现在我仅仅是打了几场败仗而已，你就要贬我为庶人？
尽管有一百万个心有不甘，殷浩还是被解除了职务，北伐大军由豫州刺史谢尚接管，谢尚派戴施留守谯城，刘遁镇守仓垣，冠军将军刘洽镇守鹿台，以防范前秦趁乱南侵，扬州刺史一职由司马昱亲自兼任。
难受的受不了的殷浩在失魂落魄的回到京城之后，面对来看望自己的司马昱说道：“你让人登上了百尺高楼后，又把梯子拿掉了，把我束之高阁，在这高楼之上，从万人敬仰到万人唾弃，你知道我有多难受嘛？”
面对殷浩的报怨，司马昱也是哭笑不得，自己给了他那么多次机会，他却不加珍惜，屡屡利用权力排除异己，打压同僚，酿出各种事端，让朝廷损兵折将不说，还错失了北伐的良机，这又能怨得了谁呢？
殷浩内心虽然极度苦闷，但是朝廷的旨意又不得不从，于是在极不情愿的情况下，殷浩来到了信安县，在信安县的日子里，殷浩依然保持着往日的风度，喜怒不形于色，但是常常用手在空中书写，起初人们并不知道他写的什么东西，只当是乱画；
后来有好事者悄悄跟在他后边，细细琢磨他画的字，时间长了，后来终于弄清楚，那是“咄咄怪事”四个字。
这时，人们方始明白，他对自已被撤职和流放，还是深怀不满的，也就是说，至到现在他都不认为北伐失利是因为自己能力的问题，而是认为自己是权力斗争中的牺牲品，因为涉及到政治，所以他不能公开道出自己的冤屈，也无处倾诉这种冤屈，于是就只能整天对空画字，以泄怨愤罢了。