汉武帝临终前指定霍光为大司马大将军,和金日磾、上官桀、桑弘羊一同辅佐时年八岁的汉昭帝,当时霍光位极人臣,虽然汉武帝托孤的对象不止霍光一个,但朝政大权唯霍光一人把持,他执掌汉室最高权力近20年,是麒麟阁十一功臣之首。
在汉昭帝病逝之后,霍光还废过当了20多天皇帝的昌邑王刘贺,可见当时汉朝的江山虽然姓刘,但是早已是霍家的天下。霍光之后帮助废太子刘据的儿子刘询为皇帝,这便是“汉宣帝”,汉宣帝登基后,霍光还将自己的女儿霍成君嫁给了刘询。
汉宣帝即位初,霍光表示要归政于帝,但宣帝没有接受,所以朝政还是掌控在霍光手上,汉宣帝虽然表面非常信任霍光,但其实非常忌惮他,与之同车时“若有芒刺在背”。霍光的功高盖主也为之后全族被灭埋下了巨大的隐患。
汉宣帝地节二年,霍光去世,谥号“宣成”,汉宣帝亲自来哀悼霍光,并以帝王之礼将霍光于茂陵,这是莫大的荣幸,但是霍光的妻子仍然嫌弃不够气派,将霍光生前自己安排的坟墓规格扩大。两年后,霍家谋反的事情败露,满门抄斩,全族被灭,不过霍光的墓没有被牵连,依旧陪葬茂陵。