汉武帝临终前指定霍光为大司马大将军，和金日磾、上官桀、桑弘羊一同辅佐时年八岁的汉昭帝，当时霍光位极人臣，虽然汉武帝托孤的对象不止霍光一个，但朝政大权唯霍光一人把持，他执掌汉室最高权力近20年，是麒麟阁十一功臣之首。
在汉昭帝病逝之后，霍光还废过当了20多天皇帝的昌邑王刘贺，可见当时汉朝的江山虽然姓刘，但是早已是霍家的天下。霍光之后帮助废太子刘据的儿子刘询为皇帝，这便是“汉宣帝”，汉宣帝登基后，霍光还将自己的女儿霍成君嫁给了刘询。
汉宣帝即位初，霍光表示要归政于帝，但宣帝没有接受，所以朝政还是掌控在霍光手上，汉宣帝虽然表面非常信任霍光，但其实非常忌惮他，与之同车时“若有芒刺在背”。霍光的功高盖主也为之后全族被灭埋下了巨大的隐患。
汉宣帝地节二年，霍光去世，谥号“宣成”，汉宣帝亲自来哀悼霍光，并以帝王之礼将霍光于茂陵，这是莫大的荣幸，但是霍光的妻子仍然嫌弃不够气派，将霍光生前自己安排的坟墓规格扩大。两年后，霍家谋反的事情败露，满门抄斩，全族被灭，不过霍光的墓没有被牵连，依旧陪葬茂陵。