及至晋王将要回任扬州，又依了宇文述计较，去辞皇后，伏地流涕道：“臣性愚蠢，不识忌讳；因念亲恩难报，时时遣人问安。东宫说儿觊觎大位，恒蓄盛怒，欲加屠陷；每恐谗生投抒，鸩遇杯酌，是用忧惶，不知终得侍娘娘否？”言罢呜咽失声。皇后闻言曰：“睨囗伐渐不可耐，我为娶元氏女，竟不以夫妇礼待之，专宠阿云！使有如许豚犬，我在汝便为所凌，倘干秋万岁后，自然是他口中鱼肉。使汝向阿云儿前，稽首称臣讨生活耶！”晋王闻皇后言，叩首大哭。皇后安慰一番，叫他安心回去，非密诏不可进京；不得轻过东宫，停数月，我自有主意。晋王含泪而出。宇文述道：“这三计早已成了！”

柳迎征骑邗沟近，日掩京城帝里迢。

八乌已看成六翮，一飞直欲薄云霄！

一废一兴，自有天数。这杨约得了晋王贿赂，要为他转达杨素。每值相见，故作愁态。一日杨素问他：“因甚快侠？”杨约道：“前日兄长外转，东宫卫率苏孝慈，似乎过执，闻太子道：‘会须杀此老贼！’老贼非兄而谁？愁兄白首，履此危机。”杨素笑道：“太子亦无如我何！”杨约道：“这却不然。太子乃将来人主。倘主上一旦弃群臣，太子即位，便是我家举族所系，岂可不深虑？”杨素道：“据你意，还是谢位避他，还是如今改心顺他？”杨素道：“避位失势；纵顺，他也不能释怨。只有废得他，更立一人，不推免患，还有大功。”杨素抚掌道：“不料你有这智谋，出我意外！”杨约道：“这还在速，若迟疑，一旦太子用事，祸无日矣！”杨素道：“我知道还须皇后为内主。”

杨素知隋主最惧内，最听妇人言的，每每乘内宴时，称扬晋王贤孝，挑拨独孤皇后。妇人心肠褊窄浅露，便把晋王好，太子歹，一齐搬将出来。杨素又加上些冷言热语。皇后知他是外廷最信任的，便托他赞成废立，暗地将金宝送来嘱他。杨素初时，还望皇后助他，这时皇后反要他相帮，知事必成。于是不时在隋主前，搬斗是非；又日令宦官官妾，乘隙进谗，冷一句，热一句，说他不好的去处。

正是积毁成山，三人成虎。到开皇二十年十月，隋主御武德殿，宣沼废勇为庶人。其子长宁王俨，上疏求宿卫，隋主甚有怜悯之意，却又为杨素阻住。还有一个五原公元-直谏，一个文林郎杨孝政上书，隋主听信杨素，俱遭刑戮。杨素却快自己的富贵可以长久。到了十一月，撺掇隋主立晋王为太子；以宇文述为东宫左卫率。晋王接着旨意，先具表奏谢，隋择吉同萧妃朝见，移居禁苑，侍奉父母，十分孝敬。隋主见他如此，也自欢喜，且按下不题。