雍正六年，才17周岁的弘历就做父亲了，他的侍妾富察氏生下了长子永璜。可惜，这个富察氏并非后来深受宠爱的孝贤纯皇后富察氏，而只是一个身份低微、出身平反的女子。在清朝，很讲究门第，永璜虽然贵为长子，却没有得到父亲的关爱。
尤其是在富察皇后的两个儿子接连出世之后，乾隆先后将他们列入秘密立储的诏书，作为皇长子的永璜却没有得到半点机会。即使富察皇后所生的嫡子相继夭折之后，乾隆宁愿不立储君，也没有将永璜列为备胎。
这还不算，对永璜的打击还在后面。当乾隆十三年，皇后随驾东巡的途中突然去世，皇帝万分悲痛，指示无论如何，不管多少代价也要将皇后的灵柩和所乘的大船从山东运回京师。为此，清廷差点拆了北京的城门。
此时，朝中已经没有嫡子，永璜作为皇长子，以大阿哥的身份迎丧。可是，在此过程中，心情不佳的乾隆却看到永璜和皇三子永璋并没有太过于悲痛，怒斥他们态度轻慢，没有礼数。更要命的是，乾隆直接剥夺了他们两人的皇位继承权，当着文武百官的面说：
此二人断不可承续大统。
其实，此时的永璜不过二十来岁，永璋更是只有十四岁，皇后再贤惠，与乾隆感情再深，毕竟不是自己的生母，没有太过伤痛也实在是人之常情。永璋年纪小，当时没有多大的体会，而永璜被父亲当面斥责，又惊又惧，没有两年就去世了。乾隆这才感觉内疚，为当时的失控举动后悔。
永璜年仅二十二岁就离世了，乾隆将对长子的爱才转到孙子绵恩身上。绵恩是永璜的次子，确实有过人之处。
他八岁的时候，随着乾隆一同去木兰秋围。乾隆要考较皇子皇孙的箭术，小小年纪的绵恩用小弓箭一箭命中靶心，让皇帝龙颜大悦。绵恩又射了一箭，还是命中靶心，乾隆非常惊异，大声对他说：“如果再中，赠黄马褂！”
绵恩不慌不忙，拉弓搭箭射出第三箭，还是稳稳地命中靶心。乾隆自然不会吝惜赏赐，只不过没有合适八岁孩童的黄马褂。乾隆大笑，亲自扯过一件，将这个孙子包裹起来，抱上自己的御马，一同返回。
绵恩长大后，成为一个身材魁梧，相貌堂堂的的美男子。因为他武艺高超，又是皇族之后，乾隆便让他掌管京城的禁军，负责北京的安危，这是莫大的信任。他是永璜的第二个儿子，本来是他的哥哥绵德继承父亲的定郡王爵位，可是因为乾隆特别喜欢他，找了个借口夺去了绵德的爵位，让绵恩承袭，后来还封为定亲王。他也是乾隆的孙子中第一个被封为亲王的，此时，乾隆很多儿子连王爵都没有混到。
曾经有部《清朝野史大观》的书籍说过绵恩的笑话，当时京师大火，正好烧到了青楼，而绵恩作为禁军首领赶来灭火和维持纪律。他看到那些青楼女子都跑出来避火，竟然有几十上百人，竟然脱口而出：这是什么人家，生了这么多女子！（是家女子，何若是之多也？）
这个故事本来是笑话绵恩的，其实却说明他循规蹈矩，并不是沾花惹草的纨绔子弟。在乾隆晚年，成年的儿子只有六个，还有两个过继出去了，他为继承人的事情也大伤脑筋，觉得每个儿子都不是最佳人选。
当时的朝鲜使臣回国后的记录中，记载乾隆的皇位继承人很可能在绵恩和永琰之中产生。虽然绵恩是永琰的侄子，其实比永琰还要大十几岁，而按照京师的传闻，乾隆似乎更喜欢这个孙子，绵恩当上皇帝的可能性还更大一些。
然而，乾隆反复考虑，以朱元璋传孙不传子，从而引来了靖难之役为殷鉴，最终还是决定传位给嘉庆，以免骨肉相残，更是避免开个不好的先例。
绵恩与皇位失之交臂，但他没有流露出半点怨言。相反，在嘉庆八年的时候，一个被宫廷辞退的厨子陈德竟然行刺嘉庆，是他挺身救驾，才让嘉庆避免了被枉死的命运。