果然路遙歸夢難成，一直切切地等宋使前來相迎，忐忑不安地等了許多天，和議之事卻又有了變數。
金天眷二年七月，金主完顏亶誅殺宗磐、宗雋，也累及宗賢。
宗賢與宗雋私交甚好，過從甚密，就在宗雋被誅那日宗賢還應邀去宗雋府中作客，兩人對坐暢飲，談笑風生間，有宦官自宮中來，奉皇帝命恭請宗雋入宮，有事相商。宗雋遂起身，對宗賢笑道：「無妨，你繼續飲，我去去便回。」
宗賢也就留下，一面飲酒，一面看樂伎歌舞，坐等宗雋回來。不料最後等到的不是宗雋，而是一群搜捕抄家的禁兵。
宗賢一臉愕然，尚未弄明白此間情由已被捕入獄，被奪去官爵。好在他並未參與宗雋等人與宋議和之事，完顏亶也沒查到他與宗雋勾結謀反或知情的證據，朝中臣子又紛紛為他說情，過了些時日完顏亶終究還是把他放出，並復其官。
經此一劫，韋氏被嚇得不輕，待宗賢一回來便和淚相迎，一路泣不成聲，倒看得宗賢頗高興，說：「原來見我要死了你還是會難過的。」
韋氏但泣不語，到晚間仍不時拭淚，楊氏見了好言勸慰，韋氏才低聲道：「我命薄，若非遇上蓋天大王，必已死了不知多少回。要是他再有個三長兩短，我等又將淪落到何等慘境，真是不堪設想。」
楊氏笑道：「既如此，大王已然平安歸來，娘娘還哭什麼呢？」
「唉……」韋氏深深嘆息，又面露哀戚之色，「大王平安歸來，自然是好的。但那幾個主和的金國權臣一死，我們歸國之事又遙遙無期了……」
聽她這般說，楊氏也覺前途茫茫，卻也只能隱去憂色，如常微笑安慰她：「娘娘放心，九殿下……官家那麼孝順，一定會再設法議和，想必不須再等多久，就會派人來接娘娘了。」
此後一年多，生活仍如以前那樣漠然平淡地過。只是自邢氏死後，韋氏就有了日日誦經，並定期為她吃齋的習慣。天眷三年四月，不知為何，韋氏常常夢見邢氏，心中不安，便請宗賢允許她去寺裡為邢氏做一場法事。
那時他們居於大定府。昔日燕京的那個僧人道淨也在宗賢引薦下來到大定府的安養寺做住持僧，韋氏便選定安養寺做法事。
因幼子哭鬧不休，一定要跟來，韋氏就牽著他同往。做了一陣法事，午時前往後院吃齋飯時，忽聽路旁一側傳來一聲輕輕的呼喚：「韋娘子？」
韋氏側首，見聲音是自一間耳房裡傳出，那房門緊鎖，有一金兵持長槍坐於地上看守。窗戶上釘著很粗的木條，顯然是一間囚室。那窗內木條縫隙中露出一張鬚髮蓬亂的臉，韋氏定睛一看，認出是趙桓。
趙桓見她看過來了，甚是歡喜，又喚了一聲：「韋娘子！」
韋氏見趙桓此狀也感惻然，正在想是否過去略作問候，身邊幼子卻脆生生地叫了一聲「娘」，再指著趙桓問：「那人是誰？」
韋氏頓時一凜，垂目不語。有風吹過，腰間絲帶向後飄揚，她看見自己所穿的金裝六襉襜裙裙襬微微搖曳，那蓬起的絲質裙幅被風一觸，漾起水般漣漪。她左手握著一卷經書，右臂窄袖下的手腕上環著一翡翠手鐲，感覺冰涼，而兒子溫暖的小手則牽在手中。
兒子睜著無邪的潔淨雙眼仰首看她，再問：「娘，那人是誰呀？」
不消舉目看，她已覺出趙桓驚異的目光正反覆游移於她與幼子身上。
「不知道。娘不認識他。」她低聲回答，然後在那抹無法遏止的緋色浮上臉頰之前，匆忙帶兒子疾步走出趙桓的視野。
楊氏倒沒說錯，雖上次和議不成，趙構這兩年仍一直在設法與金通好。金皇統元年，宋紹興十一年十一月，宋金紹興和議簽署，金承諾將歸還徽宗帝后梓宮及皇太后韋氏。
歸還韋氏這條遭到宗賢的激烈反對，宋使何鑄再三懇請，宗弼也從旁力勸，並曉以厲害，就連金主完顏亶都說話了，宗賢卻始終不答應。
這事韋氏也知道，但不敢流露半點憂慮情緒，見了宗賢也如常服侍，對南歸之事隻字不提。倒是有一天，宗賢主動跟她提起，問她自己願不願回去，韋氏一徑低首沉默不說，宗賢便怒了，一拍桌子指著那兩個在他們身邊玩耍的孩子，喝道：「你就唸著趙構是你兒子，一心想回去見他，但他們就不是你兒子了麼？日後你回了南朝，可會也像想你兒子趙構那樣想他們？」
韋氏兩滴淚就掉了出來，嗚咽道：「大王不要這樣說，他們於我是骨肉至親，我疼他們之心並不少半分。」隨即抹去淚痕，強作歡顏：「我並沒說一定要回去。大王待我不薄，兩個孩子又都很孝順乖巧，我留下來也是好的。」
此後幾日兩人又都不再提這事。一日晚間，韋氏在燈下刺繡，兩個孩子各持一掃帚當刀槍，跑進跑出地嬉鬧，宗賢獨自躺在床上小寐。後來幼子被長子打了一下，想是很痛，就哇哇地哭了起來。韋氏呵斥了長子幾聲，命楊氏帶他去睡覺，然後自己抱幼子坐於膝上，好言撫慰，那孩子才漸漸安靜下來。
韋氏給兒子看她繡的花樣，他也興致勃勃地就著桌上的松脂燈看。忽然燈花一綻，一縷黑煙浮起，孩子嗅到煙氣，忍不住打了個噴嚏。
韋氏忙取出手巾給他拭鼻，然後抱著他，握起一柄麈尾輕拂燈煙，見那油燈一柱，熒然欲滅，不由輕嘆一聲，對兒子說：「在娘的家，我們不點油燈，是點蠟燭。那裡面灌有龍涎香、沉腦屑，不僅無煙，還很香，每天晚上每間屋子都點數百枝，亮得就像白天一樣……」
目光落在手中麈尾上，繼續說：「麈尾的柄，我們是用玉來做，那玉色比這裡的環珮還好。」
再看看兒子放在桌邊的掃帚，又道：「我們那裡的掃帚是用孔雀翠尾做的，花花綠綠的，很是好看。」
一壁說著，一壁就呈出了淡淡淺笑。
懷中孩子聽著，忽然問她：「娘，你的家在哪裡？」
「在南方……」韋氏輕聲答，摟著他，含笑看燈上光焰，如沐春風般神采，彷彿透過它觸到昔日萬千繁華，「那裡的花兒很香，那裡的人都很漂亮，日子也是極好過的……掃地焚香閉閣眠，簟紋如水帳如煙……」
話音未落，忽聽床上的宗賢喟然長嘆。他起身坐起，兩手撐在膝蓋上，目光炯炯地盯著韋氏，道：「罷了，罷了，你回去罷！」