地节三年（公元前67年），霍光刚刚死去一年的时间，汉宣帝封许平君的父亲许广汉为平恩侯，同时册立与许平君在民间所生的刘奭为太子。霍显非常恼怒，甚至“恚怒不食，呕血”，并授意霍成君伺机毒杀刘奭。但因为太子的老师（一说保姆）先试菜验毒，所以霍成君几次下手均未成功。
这正应了“君子之泽，五世而斩”。霍光虽为大汉立下汗马功劳，但霍家人却不知惜福，日益骄横，不将任何人放在眼里。霍氏一门族人虽然身居高位，却不知为官之道，“朝请”时却“数称病私出”，“朝谒”也叫“苍头奴”代劳，最后连家奴都狗仗人势，竟因与人争道而入御史府踢大门，还动不动就扬言“县官（指汉宣帝）非我家将军（指霍光）不得至此”。
贵为天子的刘询已是“是可忍，孰不可忍”了。
首先，宣帝解除了霍光两女婿东宫、西宫卫尉的职务，剥夺了他们掌管的禁卫军权，这样，就将保卫自己的势力紧紧地攥在自己的手中。
其次，宣帝还将霍光的两个侄女婿调离了中郎将和骑都尉的职位，让自己的亲信担任南北军和羽林郎的统帅，继而把兵权掌握在自己手中。如此一来，霍家要是有什么动作，宣帝也可以用武力镇压。
再次，宣帝还提拔霍光的儿子霍禹为大司马，明升暗降，实际上剥夺了他的实权，其右将军屯兵的权力从此付诸流水。
最后，宣帝为了将霍山、霍云领尚书事的职务架空，还大力改革上书制度，下令吏民上书，直接呈皇帝审阅，不必经过尚书。