有时，他也会找看来可喜的女人侍宿，或者找以前认为可取的女人，但是，在武惠妃生前，他认为可取的女人，此时对之也提不起兴趣了。
他有些百无聊赖，有时，他觉得自己趋向衰老了。
想到自己趋向衰老，他会想到太子问题。李适之的奏章他没有答复，但他并不是不重视，而是他有矛盾。
李隆基是以夺权取得天下的，他也深知前代因储君问题而引起的政乱，在感情上，他久有立寿王为太子的意思——对于杀死三个儿子，他有悔意，也有伤感。不过，他对太子李瑛久已不满了，皇帝早看出李瑛很虚伪，而且，性情也较鲁莽。他容忍着，希望多了解一些，但仍旧失望。对于李瑛弄兵入宫欲杀武惠妃的事，虽然有可疑之处，但李瑛和两名弟弟勾结、门下私蓄壮士这一点，却是事实。这就足以构成大逆罪！何况，李瑛还联系朝臣，那是最使他憎恨的。张九龄是为他所赏识的人，但他必须去除，就是因为张九龄和太子李瑛之间的微妙联系；在他有生之年，绝不容许儿子们勾结大臣的。因为他自己是勾结朝中军中的权臣而发动政变得位的，为此，他很敏感。
但是，杀了李瑛，立谁呢？寿王为他所喜，可是，寿王在兄弟中排行太低，既无功勋，又没有真正的贤能表现，立这样一个继承人，别人是不是会心服？将来是否能保得住皇位？
为此，他踌躇，时时一个人闭坐在内书斋中出神，为未来的事而思索。
当李隆基闭户独思的时候，通常是不许旁人打扰他的，除了有突发事件之外，侍从决不会传报任何事情；但是，这也有例外，有两个人，可以在此时去见皇帝而不会被阻，一个是已故的武惠妃，另一个是宦官知内侍者，官右监门将军的高力士。
当李隆基尚为临淄王时，高力士就成了他的内侍，这位身体高大强壮而又勇健的内侍，还有聪明才智，他曾勤于读书，对李隆基又忠心耿耿，当年发动宫廷政变，高力士是他最得力的一个助手。二十余年来，高力士从来不曾弄过权术，碰过是非，他一切都为皇帝本身利益作打算。
现在，李隆基在书房中独想，高力士进来了。
当有外人在场时，高力士见皇帝，严谨地守礼仪，但在私室，他就相当随便，他坐下和皇帝谈话。
他关切地问到皇帝的心情，他又直率地指出：皇帝消瘦了一些，而且有些精神不济。
“惠妃死后，我的心情很不好！”皇帝说。
“陛下，死者不能复生，不宜为此而自损，老奴以为，再找一个人，以天下之大，不见得会找不到陛下所中意的人，陛下身为天子，岂可为情憔悴？”
李隆基苦笑着，起身，在书斋中来回踱步，他认为高力士之言有理，可是，他又以为，再找一个如武惠妃那样的人，却不容易。他说了。
于是高力士又笑说：“陛下，一个合意的女人，不是一朝一夕能找到的，在此之前，陛下真心喜欢的，也只有武惠妃一个，不过，以天下之大，也必不会只有一个武惠妃！”高力士说了，稍思，又笑说：“陛下，我看寿王妃杨氏，样子颇肖惠妃当年！”
李隆基想到在骊山见杨玉环的光景，面孔上浮现出愉快的笑容，但是，在一转瞬间，他因杨玉环而想到寿王，太子问题，这自然比找一个女人来得重要，于是，他收敛了笑容，直走到高力士面前问道：“力士，你随我最久，我们之间，无话不可说，以你的意见，我当立谁为太子？”
“陛下对储位踌躇未决，是否担心他日相争？”
李隆基点点头说：“就是为此！”
“陛下为皇以来，天下升平，诸王无一干与政务兵事，立贤立功，无从说起，唯有依照传统方法，立储以长，谁敢复争！”高力士庄肃地说出。
李隆基稍思，终于笑着点头。
在中华大国的历史上，第一继承权是长子，从皇帝家至平民家，都是如此的，但这一传宗的法则，还有嫡庶之分，母亲的身份，有时可以影响及儿子的地位。倘若妻妾先产儿子，正妻后生儿子，那末，正妻之子就会做嫡子而为承继人。现在，开元皇帝的儿子中，以庆王李琮的年纪最大，但李琮的母亲出身低，又早死，而且无宠，李琮便被剔出继承人之外。
庆王李琮本人也明白，决不会争的。李隆基的老奴高力士自然明白，他说的立场，当然不是指庆王，指的是忠王李玙。李玙的生母杨氏，系出名门，为女皇帝舅家，太尉杨知庆的女儿。她嫁李隆基为侧室，生李玙。后来李隆基当太子，为良娣，随后为皇，得妃号。李玙幼年由废后王氏扶育、杨妃早故，但她的身份，使李玙成了有第一继承权的长子。
高力士一句话，决定了大唐皇位继承人。
李隆基很慎重地命宫廷史官记录下自己和高力士有关立嗣的谈话。
外廷大臣，无人知道这一决定，皇帝也不再与人商量，这是五月尽时，离开故太子李瑛之死，已有十三个月。
六月初，皇帝的大诏令发布了——忠王李玙为太子。
这是突如其来的，大诏令宣布时，寿王李瑁并未在朝，他是在寿王邸中接获报告的。
他的太子梦破碎了！
他对本身安全，也感到了严重的威胁。然而，这是现实！
闻讯之后，李瑁呆若木鸡。
杨玉环在室内，闻讯出来看丈夫。
李瑁望着妻子而流下酸泪。他说：“从今之后，我的日子会极难过了。”
杨玉环泫然与丈夫相对，她不知道如何安慰丈夫，此刻，她发现自己的丈夫极为柔弱。
每一个女人的心理上都有着母性，此时，对着柔弱的丈夫，她的母性抬头，她似搂住孩子地搂抱了丈夫——现在的杨玉环又已大腹了，她嫌恶生孩子，但是，她的第二个孩子，会在不久之后诞生。
不久，寿王府的长史告进，杨玉环只得离开了丈夫。长史请寿王殿下准备着，到忠王府去道贺。
对寿王，这自然是最难堪的事，但是，他又只能强作欢笑而去。
开元二十六年七月二日，开元皇帝举行了立太子的大典，公布“册皇太子赦”，大赦天下。
李玙在这天移居东宫，正式成了皇太子。
寿王，一度是诸王中最受注意的人物，如今，太子的地位已定，寿王好象自云端掉了下来。人们很少提到他了；他的姊夫杨洄，为了避嫌，不再和他私下往来，甚至，连他的姊姊咸宜公主也要设法回避。
那不是他们无情，而是皇家现实的残酷，每人都要竭尽所能保护自己。
寿王李瑁努力镇慑，使自己和平时一样，他不能让任何一个人看出自己的失望或者颓丧相，连府中的仆婢也在内，如果有人安排了圈套，任何细微的事故，即使由仆婢密告，也会构成罪状的。
只有和妻子在一起，他才可以稍微舒泄自己的情操，但是，杨玉环的第二胎，在中期以后胎气不好，时常呕吐，也许这纯然是生理上的，也许这由于心情上的。她为丈夫的处境而担忧，因而影响了心情。
寿王府的表面如常，但实际有似愁云笼罩。
七月、八月，寿王除了循例在规定的日子上朝和兄弟们入觐外，他不曾被父皇单独召见。从前，母亲在世之时，寿王以母亲之故，得以时常入宫，如今，他与其他的皇子一样，只有在规定的日子才能见着父皇。
九月初，杨玉环诞生了第二个孩子，又是男孩。
当她怀有第一个孩子时，武惠妃曾派保姆旧婢到媳妇处，这些人一直留在寿王府邸没有走，现在，她们服侍寿王妃产下第二个男孩。
人虽如昔，但宫廷内失去了武惠妃，那也等于说寿王失去了宫廷特权。第一个孩子诞生时，由武惠妃申报，皇帝为孙儿赐名。如今，寿王妃诞生次子，只能依常例而向宫廷奏报。
半个月后，大唐皇帝在早朝之后召见了寿王——那是除了太子之外，例行的，诸王同时蒙召见和留在宫中陪皇帝吃午饭。寿王和其他的兄弟一样，唯一不同的是，皇帝提到了他的第二个孩子，并问及媳妇。
这和从前完全不同了，从前，宴诸王时，总有武惠妃在场的，寿王自然是特出人物，再者，因有武惠妃在场，气氛也比较轻松。现在，只有皇帝的赐宴，就单调而显得严肃了。
寿王只觉得闷郁，失意感也更加深了一层。自然，他也更加思念母后了。
他并没有将自己的落寞感告知妻子。
而杨玉环，对皇帝赐第二子的名字，感到不满。他的第二子，赐名“伓”，杨玉环不认识这个字，问了人，才知道读杯字音，是一座山的名字，但她不喜欢这个从人从不的字。她反过来看，那是不人二字。
虽然如此，杨玉环对一个名字的不满只是泛泛的，产后不久，她热心于自己的肢体运动，收缩腹肌，恢复体态，以及每天三次用一种特制的油搽上按摩小腹，那是她第一次生产时武惠妃所送来的。搽了油按摩，由一名老婢担任，但爱美的杨玉环，在例行的三次之外，常常自己敷油多作一二次按摩。
这事，也被丈夫发现了，寿王自请为妻子服役。
气氛很低的寿王府，这是闺中纤巧的乐事——寿王的服役不止于为之按摩小腹，他将延伸至妻子修长的双腿——用油按摩小腹，据说为了小腹的皮肤不起皱摺性的花纹，一般妇人，因生产时腹部胀大，皮肤被膨松了，收缩后会留下皱纹。