很快的，田延年就去找张安世。然而两人才刚商量完事，霍光却突然听到一个消息：要罢黜刘贺的事，可能已经被传出去了！
事情是这样的：有一天，刘贺出行，半路被人拦驾。挡他去路的人是光禄大夫夏侯胜。夏侯胜一见刘贺，就一声大吼“陛下又想去哪里玩”有下属这样对皇帝问话的吗？刘贺倍受打击，也朝他怒吼一声“老子去哪里玩，关你什么事？快闪开”
夏侯胜忽然冷笑“你就知道玩，你知不知道有人要阴谋搞掉你”刘贺诧异地看着夏侯胜，问道“你怎么知道有人想整我，有证据吗”夏侯胜叫道“我的证据就是天象！天气久阴无雨，说明有人会犯上做乱”
这话听了不要紧，刘贺一听就更急了。须不知，他已好多次梦见过、碰到过种种稀奇古怪的事情
。龚遂还经常恐吓他，要他多注意积善行德，才能化危为安…
对龚遂，毕竟都是昌邑国一起混出来的，刘贺总是嘻嘻哈哈着应付。什么鬼神，什么天意，通通都是假话。在刘贺的人生字典里，只有感觉两字。截止到目前他的生活，都是跟着感觉走…
不过，对夏侯胜，刘贺就不客气了。大骂夏侯胜妖言惑众，不知好歹…我认为：刘贺骂这话倒也不是没道理的。如真有天意，为什么他在昌邑国天天疯狂时，上天非但没整他，反而将他送到长安来当皇帝？可见，所谓天意，其实不靠谱。如有人说他靠谱，当然就是瞎扯！
刘贺将夏侯胜投入监狱，然后立案，案卷送到了霍光手里。没想到霍光一看，眼皮直跳，直叫大事不妙。他马上将田延年喊来，质问这究竟是怎么一回事？田延年也是郁闷至极。要知道：准备废掉刘贺，目前为止只有三个人知道：霍光、他、张安世！
奇怪？这个夏侯胜是何方神圣？怎会知道有人要阴谋搞掉刘贺？难道…一想到这，霍光和田延年恍然大悟：肯定是张安世泄密！
很快，霍光就将张安世召来。结果张安世直喊冤枉，他说根本就不是他泄密的。如不是有人想陷害他，那就是不知哪个环节出问题了！
这下子，霍光真的疑惑了。是哪个环节出问题了呢？想了半天，三人谁也想不出来。最后他们只有使出一招：秘审夏侯胜！
没想到夏侯胜很老实，很快就交待了问题。更没想到的是：他的答案让人直想吐血。他说之所以知道有人要搞掉刘贺，不是什么人告诉他的，而是他受了某篇文章的启迪，推理出来的。夏侯胜还气壮如山地告诉霍光“如你们不信，去翻一下书不就知道怎么回事了吗”霍光想想，这话说得有道理。于是派人将书拿来一翻，竟还真有那么回事：《洪范传》果然记载了一句话，大约意思是“如皇帝犯有大量过失，必招天罚。所以老天使天气阴霾，显示的就是他地位不稳，多数要被臣属搞掉了”
霍光最后得出一结论：行动机密还未泄露。夏侯胜对刘贺那惊人一骂纯属巧合。不过霍光认为：此谓国之忠臣，必须保护。于是，夏侯胜一条小命总算被保住了…
就在这时，有一侍中傅嘉因多次进谏，也被刘贺关了起来。听到这个消息，霍光对田延年、张安世下了一个命令：救病宜快不宜迟，不能再拖了！
然而要废掉刘贺，还必须另一个人配合：丞相杨敞！于是，田延年立即去找杨敞，传达了霍光的意思。
自汉朝立国以来，丞相特点可谓百花齐放：兢兢业业者如萧何、大智若愚者如曹参、阴谋大师者如陈平、知难而退者如周勃、牛气哄哄者如周亚夫、混日子领工资者如田千秋。那么杨敞属于哪一类？一句话：胆小如鼠，遇事无主无神，简直要了他的命。
所以当杨敞一听说霍大将军要废掉刘贺，他竟紧张得浑身流汗，舌头发硬，一点主意都没有。田延年很聪明，一见这架式，他告诉杨敞“你再慢慢想想，我上个洗手间先”说完，转身真上厕所去了…
杨敞还在犯愣。一直以来，他做官的哲学就是多一事不如少一事。基于以上原则，他从不参杂各种政治派别间的火拼。以前是上官桀要搞霍光，他假装生病躲到几十公里外去了。现在霍光要搞刘贺，他也想躲，却只恨跑不掉…到底该怎么办？杨敞几乎要绝望了。
正在杨敞手足无措之际，突然间从东厢里跳出一女子，直奔他而来。杨敞定眼一看，原来是他的老婆、司马迁之女！
一个成功的男人背后，总有一个贤内助
。我认为这话放在杨敞身上，基本靠谱。当时，杨敞和田延年在客厅里说话时，他老婆正躲在东厢偷听。杨夫人之所以急得要跳出来，就是要替他的胆小鬼丈夫拿定主意的！
杨夫人不愧是史学之父的女儿，看问题极其透彻。她告诉杨敞：废掉刘贺的事，霍大将军已经决定；他之所以派田延年来通知你，不过是需要你配合一下。如你还犹豫不决，我们全族人都要成为你的陪葬品了！杨敞恍然大悟，原来他不过是别人手里的一张筹码！
这时，田延年回来了。杨夫人在杨敞一旁站着，杨敞仿佛有如天助，他坚定地告诉田延年“丞相府会鼎力支持霍大将军，一切听从他的指挥”
28日，刘贺登基二十七天后，霍光在未央宫主持召开中央扩大会议。参加大会的人员有：丞相、御史、将军、列侯、中二千石高级官员、大夫、博士等。大会上，霍光宣布讨论议题“皇帝刘贺混帐，危害国家安全，请大家就这事讨论如何处置”
在场所有人犹如被晴天霹雳击中，全场鸦雀无声，没人敢站出来哼哈一声。正当大家集体发愣时，田延年首先起座按剑，向刘贺开炮“先帝将国家托付于霍大将军，大将军公忠体国，刘氏平安。然而自打刘贺及其属下进了长安，天下便沸沸扬扬，鸡犬不宁。若社稷就此倾覆、汉家就此绝祀，霍大将军有何脸面见先帝于地下？我认为：今天大家必须统一意见，做出处理决定，不得拖拉！凡是那些见风使舵，后来响应的，就该当场格杀”
所有人都听明白了，今天这场大会就是谋划好的。要想活着走出未央宫，必须站到霍光一边。于是田延年话音刚落，所有人一齐叩头高喊“大将军英明，昌邑王混帐。一切由大将军说了算”
这个场面，霍光很是满意。此举说明废掉刘贺已成功一半。接着霍光率群臣前往长乐宫，朝见上官太后，痛诉刘贺无道。骂完后，霍光将自己与群臣(丞相杨敞、车骑将军张安世、度辽将军范明友、前将军韩增、后将军赵充国、御史大夫蔡义、宜春侯王谭、当涂侯魏圣、随桃侯赵昌乐、杜侯屠耆堂、太仆杜延年、太常昌、大司农田延年、宗正刘德、少府乐成、廷尉李光、执金吾李延寿、大鸿胪韦贤、左冯翊田广明、右扶风周德、故典属国苏武)联名弹劾刘贺的奏疏交了上去。
很快，霍光的外孙女上官太后下诏：摆驾未央宫承明殿，召刘贺来见。同时，原昌邑国的官员，一律不得入官！
这招就叫关门打狗。然而刘贺还被蒙在鼓里。听闻上官太后召见，随即带着一帮人前往…
此时，霍光已在未央宫外守候。他告诉刘贺“今天只许你一人进宫，你的人通通在外等侯”刘贺很是疑惑，问霍光“为什么不让他们进来”霍光很客气地说“对不起，这是上官太后的命令”顿时，刘贺心底涌起一股不祥之感。他知道今天这趟来，肯定是凶多吉少了。然而有多凶，他也许并不知道…
事实上，刘贺的预感是对的。刘贺一进宫，他的人便全被赶到金马门外。在那里，张安世已率羽林军等候多时了！随即，这200余人全被拿下，送交廷尉诏狱。
而此时，刘贺更是不妙。他进宫后，霍光安排了几个汉昭帝的旧日近臣看管住刘贺。嘱咐道“你们须小心看守。不能让刘贺自杀，让我霍光背负弑主恶名”随后，霍光就把刘贺扔下，去与群臣和上官太后商量下一步的行动方案了…
刘贺则倍感不安。他问那几个霍光给他安排的人“我从昌邑国带来的人，好像也没犯什么罪，霍大将军为什么不让他们进宫”陪侍的人，没有人能回答刘贺这个问题，也不敢回答这个问题…
刘贺又问“那么你们知道太后为什么要召见我吗”仍是一片沉默
。
接着上官太后传旨：刘贺入见。进入承明殿，刘贺发现场面异常的严肃：上官太后装束高贵、左右卫士手持兵器、文武百官按序排列。刘贺的心，不禁抽搐起来…
末日到了！这时，尚书令开始宣读百官弹劾皇帝书。很长，概括起来却只有一句话：刘贺荒唐无道，登基27天，竟做了1127件不法之事！
说实话，这个数目很吓人！要算起来，刘贺平均每天就要做近42件被人抓住把柄的事。更可怕的是：刘贺这一举一动，都被霍光记录在案！
这说明什么？大汉的长安，仍是霍光的长安。刘贺进了长安，处处被监视…
刘贺27天的皇帝成长史，尚书令读得累，15岁的上官太后开始还听得津津有味，越往后听越气愤。中间甚至打断尚书令，跳起来大骂刘贺！刘贺像只被拔光了毛的鸡，伏在地上一动不敢动…
最后，终于弹劾书宣读完毕。上官太后二话不说，当场批准废掉刘贺的皇帝身份。接着，霍光命刘贺起身接诏书、谢太后。这时，刘贺才想起要为自己申辩几句“孔子《孝经》有云‘天下有争臣七人，虽无道而不失天下’我有王吉、龚遂、王式他们，绝不止七人，你们为什么要让我失天下”霍光很不客气“太后已将你废了，你怎么还敢自称天子”霍光亲自动手，解下刘贺身上的玺绶，上交太后。
最后，霍光还算客气，扶刘贺下殿，送刘贺出金马门外。文武百官，都来相送。此情此景，不胜唏嘘。刘贺不知道：此时被送出长安，茫茫前路，所归何处？
这时，刘贺向霍光拜辞“我实在太过愚蠢了，长安真不是我呆的地方啊”
霍光也流泪了。莫名的一阵感伤。他这眼泪，替刘贺流，也替自己流。回想当年陈平、周勃迎代王刘恒进京，何等成功。大汉盛世，由汉文帝起。事隔多年，霍光又履行当年陈平、周勃之责，却迎来了一混帐刘贺，刘贺也由此创造了汉朝历史上最短命皇帝的奇迹。这怎不叫人心痛悲哀啊？
但对刘贺来说，这一切都无所谓了。不久群臣上奏，建议上官太后干脆连刘贺昌邑王的名号也罢掉算了，将他放逐汉中郡房陵县，从此远离政治。但这个建议被上官太后否决了。
最后，上官太后批准刘贺按原路返回昌邑国，赐他两千户食邑。刘贺当昌邑王时的全部财产仍归他所有。但作为惩罚，将昌邑国撤除，改设为山阳郡。至此，刘贺犹如被武林高手废掉武功的邪派人物，终于结束了他荒唐的时代…
刘贺走了，他从昌邑国带来的二百多人，却全被下令斩首。除了王吉、龚遂两人因长期劝谏刘贺改过有功，脑袋虽保住，但被髡为城旦（王吉就是中国古代第一大家族、在魏晋南朝赫赫有名的琅琊王氏之祖）。还有常年教刘贺读《诗经》的老师王式，亦得免死。
史书记载：这200多人被斩首时，齐声向苍天高呼“当断不断，反受其乱”后人从这8个字就嗅到了一丝阴谋的气味：因一个皇帝要在27天内干下1127件不法之事，这的确太不容易…所以刘贺和这200多人可能都是政治斗争的牺牲品！他们当初是劝刘贺搞掉霍光，独掌皇权，结果刘贺当断不断。此事后来被霍光知道了，于是先下手为强，废刘贺、杀200多人！历史的真相究竟如何，早已不得而知…
之后，霍光又提拔夏侯胜做了长信少府，赐爵关内侯。负责给上官太后讲解《尚书》