刘贺被罢免的真正原因是他已经触及霍光等大臣的利益。这对霍光和其他帮助他登上王位的官员来说是不公平的，没有了人支持他也不是霍光的对手。
公元前74年被霍光长期控制的赵涵皇帝去世，没有孩子。起初，他被认为是他唯一活着的兄弟，也是吴晗皇帝唯一活着的王子，广陵王刘旭继承了王位。但对于霍光来说，为王多年工作的刘旭在广陵州有自己的政治团队，这很难控制。更重要的是，如果刘旭登基，霍光的孙女上官皇后只是他的嫂子，她肯定不是太后。霍光没有权力压制未来的皇权。因此，在朝廷所有党羽的支持下，霍光迫使刘旭找了一个借口，说“始皇帝不使用它是因为他迷路了”，把刘旭和刘旭的后代排除在继承权之外。
燕王刘丹被判自杀。当然，他的儿子不能成为接班人。因此，刘贺，皇帝的侄子和昌都王，成为皇帝最亲密的继承人。结果，刘贺成了汉帝国的皇帝。刘贺收到封信和赵王棺椁前的封信后，打开封信以示哀悼，并停止封信。随行官员带着杰夫，带领尼尔布国王的200多名下属官员、马官和政府奴隶进宫。他们经常在故宫和他们玩游戏。当小昭皇帝的灵柩还停在正厅时，刘贺要求人们从乐府拿出乐器，把昌邑的音乐家带到皇宫，敲鼓、唱歌、演奏乐器来扮演演员的角色。当昭帝的棺木被埋葬和归还时，刘贺来到前厅敲钟。
他还带领太一宗庙的乐师沿屯路到牟寿，打鼓、唱歌、跳舞，演奏各种音乐。在赵皇妃子住的叶宫里谈笑风生，刘贺与孝顺赵皇的宫人还有其他通奸行为。简而言之，这个刘贺放荡、糊涂，失去了皇帝的礼遇，摧毁了汉朝的制度。杨昌等人提出了几项建议，但他没有改变自己的错误。相反，他变得越来越严厉。这样，霍光以1127项罪名废黜了刘贺。
第一，刘贺的行为“不正”。
根据相关的历史记载，刘贺的行为举动很多都不得体，也不合宜，就是大家所说的“行为不端”。在昭帝去世之后，大臣让刘贺来主持大典。这本该是以一件很悲伤的事情，但是刘贺却一点儿都没有表现出伤心。
而且，在路上还将一位农家女子掠夺到了自己的马车上。后来大臣问起这件事情，刘贺还推辞说自己是因为看到这名女子孤身一人，所以是伸出了援手想要帮助他。
大臣提醒刘贺，先皇去世他应该要落泪哀苦。但是刘贺却说自己嗓子疼，没办法哭，就以这样的理由推辞掉了。
第二，刘贺不愿意听大家的规劝。
刘贺小时候并没有被当作皇室的接班人培养，所以他生性豪放，不受约束。但是如果他想要好好当皇帝，本来应该接受大臣的规劝，但是偏偏刘贺这个人却听不得劝。
大臣好心对他的一些行为提出意见，但是刘贺却只假装没有听到一般，掩住耳朵就赶快离开了。大臣苦苦劝说，特意找了一些品行高尚的人来监督和辅佐他。但是只有几天的时间，他就把这些人全部都赶跑了。
第三，刘贺荒淫无道。
先帝刚刚去世，他没有表现出悲伤的样子也就罢了，还在皇宫里面大肆作乐。不仅不管朝政，甚至还找了200名官奴在一个屋子里面，陪自己喝酒作乐。
在先皇的灵柩旁边，没有落泪，还大肆地奏乐，没有丝毫对死者的尊重。而且还经常在宫里，根本不顾忌旁人，经常做一些荒淫无耻的事情，还警告自己身边的宫女和太监，一旦被事情泄露出去就要被斩首。
所以，没有过多久，刘贺就被群臣反对，被霍光给废黜了。就他这样的作为，被废也是毫不冤枉的。