霍光是在宫中长大的。他的父亲是太监，母亲是宫女，因此他出生在宫中。在他年轻时，他被选为皇帝的侍从官员，由于他的才华和道德品质，很快就获得了皇帝的信任。

后来，他成为了皇帝的顾问和亲信，并担任了朝廷高官和大将军的职务。在霍光工作的这段时间里，他通过胡同（中国古代的胡同）的杂技表演者得到了许多杂技表演方面的技巧，这对他后来在政治和军事领域中的成功起到了很大的作用。