桓温回到自己的府邸之后，便召集自己的人马商议废帝之事，郗超一看这事连司马家的媳妇褚蒜子都不反对，自己也就更没有理由去反对了，于是便开始真正的为废帝之事忙活起来。
废帝毕竟是影响巨大，也是影响千秋万代的大事，郗超等人不敢马虎，因此便开始为废帝寻找理由。
可是司马奕自登基以来，一直礼敬臣下，尤其是对桓温这个大权臣更是有求必应，除了没有给予桓温他一直想要的加九锡之外，该给他的也基本上都给他了。
更重要的是，对于桓温独揽朝中大权之事，司马奕也是睁一只眼闭一只眼，丝毫没有流露出不满的情绪来。
虽然贵为皇帝，但是司马奕一直很清楚自己的角色，所以登基六年多来一直谨小慎微，恭谨无过，最后找来找去，郗超等人竟然实在找不出什么理由来废黜他，这样的结果直接让桓温傻了眼，若是没有正当的理由而强行废帝的话，不但天下人不服，就连桓温势力内部的人也说不过去，所以没有办法，桓温只得下了死命令，要求所有人都想出一条废帝的理由来，否则就不准回家。
可是，司马奕因为性格软弱，胆小怕事，做事也很优柔寡断，整天一副惟惟诺诺的样子，想找他点过错实在是有点难。
可就在所有人都在抓耳挠腮之时，廷尉卿孙绰突然提到了一个传闻：“据说天子任藩王之时有断袖之癖，常与内宠相龙、计好、朱灵宝三人行龙阳之好，当时就有人传言天子与嫔妃所生的三个儿子都是他与那三个相好的儿子，而不是真正的龙种。”
断袖之癖指的是男子间的同性恋行为，西汉哀帝时宫内有个美男子叫董贤，因为古时没有现代钟表，计时都是用漏壶计，而董贤当时就是在宫中管产报时辰，后来被在宫内闲逛的汉哀帝看上，并主动与他搭话，赏他黄门郎的官。董贤由此得宠，从此以后青云直上，先后担任当禄大夫、驸马都督、侍中，从此以后二人二人形影不离，恩爱无比，如胶似漆，掰不开扯不断。
哀帝对董贤的爱的深沉，据说有一次，两人晚上行了床弟之欢后，第二天哀帝早早醒来，发见董贤还睡着，但是却压着哀帝的衣袖了，哀帝想把衣袖扯回，但是见董贤睡的正香，所以不忍心惊动董贤，可是哀帝还有要事要办，不能等他醒来，于是情急之下，哀帝便从床头拔出亡佩刀，将衣袖割断，然后悄然离去。
等董贤醒来之后，发现身上竟然压着哀帝的断袖，董贤也感受到了哀帝的深情，深受感动，从此越发的柔媚，和哀帝更加的形影不离。
从此以后，断袖之癖便被用来形容是男性之间的同性恋行为的雅称了。
孙绰提的这个传闻只能是传闻，只能说是司马奕性格软弱，处处被人欺负，因此才会有人编出了这么个传闻来取笑他而已，所以郗超等人也只是当个笑话听了而已，谁都没有把这件当成真事。
然而，说着无意，听着有心，桓温觉得司马奕既然实在是找不出过错之处，倒不如用这个坊间传言作为废帝的理由，因为若是按照传闻来看的话，司马奕的三个儿子都是野种，并不是真正的龙种，既然如此，若是司马奕百年之后将帝位传给这三个儿子中的一位的话，那么司马氏的血脉不就断了嘛？
面对桓温的说辞，郗超等人目瞪口呆，若是真的按照桓温这个说法的话，那么司马奕就是阳痿，在古代若是被人称为阳痿，那可是比杀了他还要难受，现在桓温竟然拿这种坊间传闻如此诽谤当朝天子，在以前那可是诛九族的大罪啊。
郗超本来还想为司马奕说说情，他还想为这个帝王留点情面，可是桓温却等不及了，他决定就用这个理由来废帝，这让郗超也很是无奈，只得答应了下来。
国不可一日无君，若是废了现行皇帝那就得另立一个皇帝，可是东晋王朝一连几位皇帝的生育率都不高，晋明帝、晋成帝、晋康帝、晋穆帝、晋哀帝都已经没有后代存世了，惟有东晋的开国皇帝晋元帝司马睿尚切有一个在世的儿子，那就是现任丞相司马昱。
因为司马昱又是混迹官场多年的政治老手，桓温实在是不想立他为皇帝，但是没有办法，若是不立司马昱为皇帝的话，那么就只能找那个当年被自己废了的武陵王司马曦为帝了。
所以尽管桓温有十二分的不情愿，但还是不得不同意了立司马昱为新的皇帝。
尽管有了合适的理由，但是现在人心思稳，再加上理由实在太过牵强，所以郗超建议，在正式废帝前，还得制造点舆论才行。
于是，桓温派出了自己一直扶持的江湖门派江左盟，由他们来在民间散播关于司马奕阳痿的谣言，一时间，健康的街头巷尾都在流传当今皇上阳痿，不能生孩子，现在由田美人和孟美人两位嫔妃所生的三个皇子，皆是由皇帝司马奕藏在宫内的几个俊美少年和她们生的。
因此，人们议论着，如果立了皇太子，大晋江山就不是司马家的了！谣言指名道姓，故事也被传的惟妙惟肖，甚至还指出了司马奕第一个皇子就是一直陪伴在皇帝左右一个叫相龙的人同田美人所生。
俗话说众口铄金,三人成虎,积毁销骨,谣言是相当可怕的，尤其是谣言还在别有用心的在后面推波助澜，因此也就越传越离谱，甚至还担生了一首童谣：“凤生一，天下莫不喜，定当成龙子。” “凤生一指得一皇子，是指司马氏之子，定当成龙子，在这里是指实为相龙之子，故称之为龙子。”
当时桓温听到这首童谣的时候都感到很是震惊，这才过了几天都把童谣给整出来了，但是震惊归震惊，效果还是挺好的，这谣言就如同长了翅膀一样，通过各种渠道飞快地传播到了下面的州郡县，一时间 ，不论官府还是民间，茶余饭后都把它作为有趣的话题，而且愈传愈真切。
想来也是可怜了司马奕，诚恳的讲，司马奕算是一位老实本分的皇帝，本身不纵酒、不嗑药、不谈玄、也不沉迷于酒色，可以说是即没有不良嗜好，也没有不端劣迹，执政上虽无多大建树，但人品却还是比较高尚，因此自登基以来，朝廷上下，本对这位皇帝并没有多少闲话，可是现在大街小巷里却到处流传着这些宫闺秘整形，谁又能能搞得清是真是假呢？
最终这些谣言也传到了皇帝司马奕的耳朵里，就算司马奕脾气再好，性格再软弱，但是被人指着鼻子说自己阳痿，而且三个儿子还不是自己的，还传的有鼻子有眼，这叫谁谁也受不了，更何况是皇帝。
于是乎，司马奕震怒之余，终于硬气了一会，他下令让廷尉立即彻查此事，并将散播谣言的人全部都抓起来，一律都以欺君之罪论处。
然而，司马奕想不到的事，这些谣言正是由廷尉卿孙绰的无稽之谈而引起的，现在却又让孙绰这个当事人去查谣言，这就掩耳盗铃－自欺欺人了。
当孙绰把司马奕要求彻查谣言的事情报告给桓温的时候，桓温不由的微微一笑，经过这么长时间的舆论导向，他觉得也差不多了，是时候进行最关键的一步，废帝了。