因为霍光是霍家的”掌门人“，霍光一死，霍氏集团就失去了与皇权抗衡的能力。
霍光身材魁梧，皮肤白皙，眉目疏朗，胡须长美。不学无术，忠诚勤恳。初以门荫，选为郎官，历任侍中、奉车都尉、光禄大夫。
宿卫公正，勤劳国家。汉武帝临终时，拜大将军、大司马，受命托孤辅政，封为博陆侯。辅佐汉昭帝，解除上官桀拥立刘旦阴谋，昭帝死后废立昌邑王刘贺，拥立汉宣帝即位，掌权摄政，权倾朝野，地位崇高，但也是霍氏集团的祸。
汉宣帝地节二年去世，谥号宣成，陪葬于汉武帝茂陵，葬礼如萧何故事，两年后，霍家发动谋反，全族诛杀，霍光是霍家的”掌门人“，霍光一死，霍氏集团自然就不行了。
并非霍光死了，霍氏集团就不能与皇权抗衡，而是宣帝早就有了铲除霍光的想法，只是等到他死了之后才出手罢了。
皇帝给了霍光一人之下万人之上的权利，甚至让他独立批看奏章，官封的不能再封了。霍光不傻知道皇帝是想捧杀他，于是磕头请罪宁死不从，打那之后行事就低调的多了。然而这招行不通，就循序渐进的来，慢慢把你身边有能耐的人干掉，你又能如何？
后来，霍光的妻子犯下滔天大罪，她把皇后连人带皇种全给毒死了，事后告诉才告诉了霍光，霍光知道后就差拿刀杀了她，霍光是权臣而不是奸臣，这样的滔天大罪分分钟让他们家灭族的，然而宣帝没有任何表示，真正的危机已经到来。
等到霍光一闭眼，就到了算总账的时候了，夺权之仇，杀妻之恨，都要霍家血偿，“君要臣死，臣不得不死”，霍氏集团最终覆灭。
因为整个霍氏集团能拿得出手的只有霍光，霍光一死，霍氏集团就没有人了。
其实地位到霍光那样就很尴尬了，他自己地位越来越高，对权力的追求也就越强烈，但他自己又不敢或不愿去更进一步，这样高的位置其实很危险，一旦摔下来就是粉身碎骨。
他的拐弯舅舅卫青就做的很好，一生都不结党，不收门客，低调做人。但即便是这样，卫家也在卫青死后的巫蛊之祸中全军覆没。
可见权力到了霍光那样的地位想要延续只有两条路，第一，夺权，像王莽，曹丕，司马炎那样。第二，弃权，一家人回归田园。历史上的权臣基本都没有太好的下场，权力的排他性就注定了，权力中心的人总要面对万千的敌人，他们前赴后继，总会把你摧垮。
本回答被网友采纳对于霍氏集团来说，这场风波迟早要来，这是由汉武昭宣之际的政治大气候和霍氏一门一贯作风的小气候所共同决定的，是不以谁的意志为转移的。武帝为加强皇权，选用亲信组成宫中决策班子，是为中朝；丞相及以下至六百石的文管系统，被称为外朝。中朝随侍皇帝，自由出入宫禁，是实质上的权力中心。
霍光集团的权力合法性，来自于其近幸皇帝的中朝身份，并且自授予时就是标明期限的，是带有显著的过渡性质的。只是因为昭宣之际主少国疑，经历了孝昭早逝、昌邑王迎废等诸多风波，致使大政奉还一再延宕，故而在时间上给与了霍氏集团以壮大的机会。
南面称孤既不可能，效桓文伯业也流于发梦，霍氏甚至是被逼到了权力顶点。揭开“行周公之事”这一层看似美好的面纱，霍光真正的处境是：如履薄冰的权臣。
宣帝被扶上地位时已经18岁了，何况天资卓越，此前一度游侠民间，饱尝人世疾苦，各种意义上都具备了亲政能力。另一方面，孝昭以降积累的政治问题必须解决，因此宣帝是必须要动这份从武帝托孤时就沿袭下来的政治格局的。
政治影响力方面，此前霍氏广树党羽，亲信掌握兵权机要，又属椒房之亲，霍光本人更是享受“诸事皆先关白光”的超人臣待遇。在一系列政治事件中，霍光力挽狂澜，实际上也谤满天下，早在昭帝朝就已经多次爆发多次争权事件，把持朝政这么多年，盼望他倒台的人何止千万。
霍光固有迎立之功，但如想摆布皇帝于鼓掌间，也并非易事。此次立后事件，宣帝可谓是有礼有节有手段。至于后来霍显竟胆大妄为到毒杀许后，实属霍光自己都罩不住的失控灾难，宣帝之不可能料想，原是情理之中。
霍光废了昌邑王刘贺，让他的权势增加了，实际上正相反。他干这种出格的事情时，很多官员都是被胁迫的，并不是真心支持他。所以在宣帝上位后，大家纷纷站在新皇帝后面压制霍光。
霍氏权倾朝野的根源，乃在于武帝集权于中朝的政治决策制度，遭遇了权力交接出现延宕的非常时期，与魏晋时有根本不同。勉强类比的话，也是与诸吕之乱后迎立文帝更为近似。霍光的大权独揽，不过是非常时期行非常之事，自始至终都不具备也不可能具备抗拒皇权的能力。