后，卫长彦才得知，在他回京路上，就已有人拿着他与宋将军的关系弹劾他，而第一个弹劾的人就是皇后的父亲曹尚书。
皇后已经弃了他。
他走投无路，准备去见宋飞恒询问其中细节，可皇上却特意下旨，禁止两人见面。
那时候满京城风言风语，都在传太子南下甘酒嗜音，不顾百姓死活。
这些捕风捉影的传言，若放在平时，卫长彦可以设法处理好，可当时宋飞恒的事实在过于紧迫，他一门心思都在想办法要救宋将军一家，其他杂事根本无力处理。
紧接着，他在皇后那边的势力莫名全部倒戈，而与他相熟的官员要么划清界限，要么因为各种情况降职、贬职或不能上朝。
在宋飞恒行刑前三天，皇上突然召他进宫，却是下旨废除太子，派遣襄王前去南下重新调查灾情。
看到圣旨那一刻，卫长彦终于明白自己大势已去，他当时跪在殿前出神许久，从头至尾都没去问一句为何，最后只长跪不起，不停地重复一句话。
“宋将军忠肝义胆，为大渝立下汗马功劳，父皇若决意要他死，儿臣无话可说，只求父皇留他妻女一命！”
他被皇上痛骂一顿，让人拉到幽府囚禁。
宋飞恒行刑前一天，皇后却在皇上面前求了情，将卫长彦召入宫中谈心。
那时的卫长彦已经完全没了昔日的太子模样，整个瘦了一圈，双目血红，落魄可怜，他看到皇后的第一眼，便问：“母后是何时选了襄王的？”
对方一顿，皱眉道：“你不要这么看着本宫，不是本宫不仁，也不是本宫要去选襄王，是本宫实在不敢让你再坐这个储君之位了！”
“什么？”
在只有两人的殿内，皇后也没有顾忌，轻声道：“你既然早就知道了你母妃当年的死与本宫有关，也早该用这种眼神看着本宫！可你以前演得那么好，本宫差点要被你骗过去！”
卫长彦听着那些话，整个人像是已经麻木了，很久之后才反应过来对方说了什么，突兀地笑了一声。
皇后不明所以地看他。
他很久后才恢复正常的神色：“儿臣愿为庶人，放弃皇子身份，求皇后饶过宋将军妻女一命！”