据传，当时刘询观察宫中局势，了解到自己很有可能会被推上皇帝宝座，然而他最担心的就是自己将来会成为一个傀儡，沦为霍家独掌大权的工具，因此，他才取许平君为妻，以防霍氏一门外戚权力的进一步扩大。许平君之父曾一度侍候武帝，后来又被委派到废帝刘贺的昌邑国任职。在昭帝死前不久，许平君为宣帝生一子，他就是后来的元帝。
宣帝刚即位，围绕皇后大位的问题，就出现了许多争议，大多数人赞成将霍光的一个女儿挑选出来，承继皇后大位、母仪天下。但皇帝坚决不同意，一者是为了防止霍家权力的进一步扩大；二来，他和许平君是结发妻子，感情深厚，不忍叫她受委屈。
因此，宣帝刘询坚持立许平君为后。宣帝把握时机，下了一道莫名其妙的诏书，声言自己在贫微之时曾经有一把旧剑，现在自己十分地想念它，众位爱卿能否为他将其找回来。
“旧剑”就是暗指许平君。群臣揣摩上意，开始一个个请立许平君为皇后。许平君于元平元年（公元前74年）被册立为皇后，不久，皇后怀孕。这就是“故剑情深”的典故。从此，这一浪漫典故开始流传，成为中国历史上一道浪漫的诏书，一个王子对贫女的许诺。
本始三年（公元前71年），许平君生下一女后，霍光的妻子霍显与御用女医淳于衍相勾结在滋补汤药中加入附子，让产后的许平君服用。许平君不久毒发，在痛苦中死去。汉宣帝非常悲痛，追封她为“恭哀皇后”，葬于杜陵南园（也称少陵）。一年后，霍光之女霍成君如愿以偿取代她为后。
此后，宣帝便一直韬光养晦，暗中积蓄实力，但是霍家的人却日渐嚣张。例如，霍光死后，他的埋葬奢侈豪华，随葬的陈设和服饰，如玉衣等，都是只有皇帝才能用的。而在霍光的葬礼上，霍氏一门的族人行为傲慢无礼，大事铺张，炫耀他们认为掌握得非常牢固的权力。不知不觉之间，宣帝仅存的对于霍光拥立自己为帝的感激之心，也在霍氏一门族人的嚣张跋扈之中消磨殆尽。
在霍光死后，皇帝开始培植自己的势力，最为典型的就是：将张安世任命为尚书令；并且任命当时最干练的魏相为相，而霍光死后，丞相的权力和尊严正在迅速地恢复；继而任命丙吉为御史大夫，又委以他的岳父许广汉以重任，逐渐把权力收归己手。