刘贺在做这些事情的时候，是听不进去任何劝说的，只管一门心思跟着感觉走。当然，他的这种行为很快引起了朝臣的公愤，大家一直认为刘贺“荒淫迷惑，失帝王礼谊，乱汉制度。”不足以为帝，因此刘贺这个皇帝很快被废了。
当然，刘贺被废的原因固然和他不遵循汉朝礼仪和各种规章制度有很大的关系，但不得不说的是，刘贺之所以被霍光废黜更多的是因为刘贺不听话，他住进未央宫中之后不将任何人放在眼中，更是试图迅速控制局势，将昌邑国中的人安排进未央宫、安排进朝廷等。
他所做的一切都在告诉霍光：这是一个失控的人，如果任由他继续下去，还不知道他能做出什么事情来，这样一位不受控制又得不到支持的皇帝只有一个结果，那就是被废黜。
刘贺被废黜之后又被送回了昌邑国，只不过昌邑国被废除，成了山阳郡。从原先的昌邑王到汉废帝再回到昌邑国，并非是又回到了原点那么简单，实际上自刘贺响应霍光的征召离开昌邑国后就再也不可能回到从前了。
他再次回到昌邑国，不，已经是山阳郡了，虽说还有汤沐邑两千户，但他本人处在软禁之中，山阳太守负责监视刘贺的一举一动，毕竟是做的皇帝，不可能废黜之后就不管不问了，万一他在再搞出点事情来怎么办呢？
所以刘贺在山阳郡的生活是没有什么自由可言的，包括他做了什么事、见了什么人、说了什么话，未央宫的主人都会得知。
刘贺被废之后，霍光又将掖庭中的刘病已扶立为新帝，即汉宣帝。汉宣帝吸取刘贺的教训，执政前期默默积蓄力量，除了立后这件事外从不和霍光对着干，在霍光去世之后寻思弄垮了霍家，成为一代明君。而刘病已在位的时候对刘贺很是关注。
他通过山阳太守得知刘贺在被废之后很是颓废，年纪轻轻就疾病缠身，缩在自己的一亩三分地里日日如行尸走肉，等到了公元前63年，刘病已发现刘贺已经对他构不成任何威胁了，故展现了自己仁爱的一面，将刘贺封为海昏侯，汤沐邑成了四千户。
但对他的监视和软禁并没有就此解除，也正是因为一直监视着他，才发现他和在孙万世的交谈中有不恰当的地方，然后汤沐邑直接削去了三千户。这让刘贺心中更加的苦闷，到了公元前59年，刘贺就去世了，死的时候还不到35岁。
海昏侯刘贺应该算是历史上最特殊的皇族了，他从诸侯王成为皇帝，在位仅仅27天，却做下了1127件荒唐事，被废后并没有被杀死，反而是被软禁了故地，后来还再次成为列侯，成了海昏侯，只不过自他被废之日起，就再也没有什么自由了，虽然没有被杀，但一直被软禁中，被监视着，也因此，不到三十五岁就郁郁而终。
