自从昭帝即位，政令都从霍光出，霍光也担心日后不得善终，于是全力打造自己的关系网。如何打造关系网？当然是重抓军权，毕竟枪杆子出政权。汉初京师兵马分为卫尉执掌的南军、中尉执掌的北军和郎中令执掌的郎官三部分，南北军相互牵制，郎官护卫皇帝。武帝以后情况复杂了，中尉被打压，权分左右京辅都尉和城门校尉。卫尉变化不大，但郎中令被架空。武帝将郎中令改名光禄勋，在光禄勋下增设期门、羽林军，由六郡良家子充任，成为皇帝的禁卫军。
为了抓住军权，霍光努力打造自己的关系网。数年前把长女嫁给了上官桀的儿子上官安，与上官桀成为姻亲。接着把次女嫁给了少府邓广汉，擢拔他为长乐宫卫尉，执掌长乐宫兵马。长乐宫是太后、皇后等住处，霍光相当于掌控了后宫。又把中女嫁给了光禄大夫赵平，擢拔赵平为骑都尉，执掌京城屯兵。接着把四女嫁给了护羌中郎将、未央卫尉范明友，轻松掌控了未央宫兵马。未央宫是汉帝居住的地方，有了未央卫尉支持，霍光相当于掌控了朝廷。
手握未央、长乐和京城屯兵，霍光又把目光瞄向了羽林军。霍光把五女嫁给了羽林令任胜，掌握了皇帝禁卫军，控制了皇帝的生杀大权。又把六女提前许给车骑将军金日磾的次子金赏，与顾命大臣金日磾成为了亲家。金赏是汉昭帝的儿时玩伴，昭帝对金赏的宠幸几乎无人能及。三位拥有录尚书事的顾命大臣成为了姻亲，霍光权力逐渐达到高峰。又请旨封儿子霍禹为中郎将，侄孙霍云、霍山为中郎将，其余诸侄为朝官等，一人得道鸡犬升天，亲党连体，遍及朝廷。
霍光还曾想把女儿嫁给宗正丞刘德。刘德字路叔，颇有谋略，年少时被武帝召见，因为足智多谋被武帝称赞为“千里驹”。自从昭帝即位，刘德被封宗正丞，其父刘辟强为宗正，父子二人掌管皇亲国戚等重大事务。霍光本想拉拢刘德，一日拍着刘德肩膀道：“我与你父亲关系十分要好，听闻你娇妻去世，我十分难过啊！我有一女，样貌不俗，希望许给你为妻，不知道你意下如何？”
刘德年约三十，样貌清秀，身体稍显单薄，见大将军亲自开口，没敢当面回绝，只是笑答：“大将军厚爱，刘德无以为报。不过这婚姻大事，还是要讲究父母之命。我父尚在，我不敢轻易做主。待我问过父亲，再回大将军话。”
霍光欣然点头，刘德慌忙辞别。回到家后，他左思右想，总觉得不妥，于是询问父亲刘辟强。刘辟强已经八十岁高寿，耳聋眼昏。刘德无奈道：“儿料定霍家盛极必衰，早晚必出事。霍大将军虽然为人谨慎，从不越矩，可他的女儿娇生惯养，儿子又张扬跋扈，恐怕大将军一走，再无人能替霍家遮风挡雨。这门亲事如果成了，恐怕我们家难得善终，不如委婉拒绝，虽然一时引大将军不高兴，但长久来看是因祸得福。”
未能与刘德联姻，霍光深为叹息，时刻担心家族命运，害怕有人颠覆朝廷。一日傍晚，宫中闹鬼，群臣大惊。霍光担心有人趁机造反，急忙召来尚符玺郎李忠武。尚符玺郎负责保管皇帝玉玺和符印等。霍光急切道：“殿中有贼人，想图谋不轨，恐怕会盗窃玉玺，颠覆朝廷，你速速把陛下玉玺交给我保管！”李忠武抱着锦盒道：“这是天子之物，岂能轻易交给外臣？”霍光大怒，“我是先帝托孤重臣，难道我会造反吗？速速把玉玺交给我，否则出了大事，你担得起吗？”李忠武执意不肯，怒视霍光。
见他不识趣，霍光急忙上前抢夺玉玺。李忠武拔剑半出鞘，厉声道：“大将军如果再进半步，休怪我无情！微臣奉命保护玉玺，头可断，血可流，玉玺不能丢！”霍光一惊，怒道：“好，你有种！”