因不想太過引人注目，他們一直選走小路，不料漸至迷途，待意識到偏離了去鎮江的方向時天已盡黑，無奈之下只好在附近山坡上尋了一個可容身的山洞，準備暫且在內棲身一宿，明日天亮後再趕往鎮江。
那時天氣尚十分寒冷，兩人雖點燃了一堆篝火，山洞內仍然很陰冷。此行匆忙，寢具帶得並不齊全，趙構的馬上只負有一塊大貂皮，是他平日巡幸各地時在野外用的。嬰茀見那貂皮雖不小，臥覆各半一人用倒也足夠，但要同蔽兩人就很勉強了，何況，自己雖已受趙構臨幸，卻仍不敢肯定他會願意召自己同臥一處。於是她把貂皮鋪好後依然如在宮中時一樣，先行禮請趙構就寢，然後恭謹地退至較遠處。
趙構淡淡問她：「你準備在哪裡睡？」
嬰茀低首道：「奴婢在篝火旁坐著歇息也是一樣的。」
趙構朝她一伸手，命令得很簡潔：「來。」
這一字比獵獵燃燒的篝火更令嬰茀覺得溫暖。她略帶羞澀地緩步走去，與趙構解衣後一起躺下，因貂皮面積的原故，趙構很自然地把她擁在懷裡，他們像兩隻過冬的小動物，緊緊蜷縮依偎著，嬰茀安寧地微笑，忽然對這次意外的二人獨行感到有些慶幸。
須臾，趙構像昨夜那樣開始吻她，嬰茀輕有一顫，卻隨即鎮靜下來，已不像第一次那樣惶然不安，只柔順地躺在他懷中接受他的愛撫。這樣的接觸持續了許久，卻不見他有更進一步的舉動。嬰茀微覺有點奇怪，便不禁睜目看了看他，但見他緊蹙雙眉，眼中有隱約的憂慮與惶恐，而漸漸加大了撫摸她的力度，她有點疼，忍不住低呼幾聲，他恍若未聞，繼續著撫摸與親吻的動作，而神情卻越來越焦躁，額上汗珠也密密地滲了出來。
訝異之下她留心觀察，亦漸漸明白了他驚惶的原因：他的身體並未隨著他的慾望而有所反應。她也惶惶然不知所措，卻讓他看出了她的瞭然。尷尬之下他猛地起身，只著一身單衣便衝出洞外。
嬰茀立即穿衣而起，拿起趙構的披風追出去。卻見趙構立在一塊凸出山坡的岩石上，愣愣地望向遠處，整個人都呆住了。
嬰茀順著他目光望去也是一驚：江對岸一團烈焰衝天，長煙瀰漫，著火處離此地很遠，而仍能看到如此景象可見火勢甚大，蔓延甚廣。
「那是揚州。」趙構艱難地說：「金人縱火焚城了……」
嬰茀鼻端一酸，走過去把披風輕輕披在他身上，溫言勸道：「外面風大，又冷，官家早些進去歇息吧。明日到了鎮江再與群臣商議收復失地之事。」
趙構一動不動，眼底沉澱著一片絕望的蒼涼。
嬰茀伸手扶他，輕輕拉了好幾次他才勉強移步，轉頭看看她，神情有些不自然。嬰茀知道他是為適才的事覺得有失顏面，一面扶著他回去，一面裝作不經意地說：「官家昨夜未休息好，今日又勞累奔波了許久，一定很疲憊，暫且先在此歇歇，待到鎮江後再好好將養兩日，精神自然就好了。」
趙構此後一直沉默著，不再與她說話。進到山洞中默默睡下，也不再伸手攬她。嬰茀依在他身邊，摟著他一支胳膊而臥，長夜難眠之下反覆想：「他是太累了，休息一下就會好……」她因這念頭而有些羞澀，忽然間又莫名地在心裡郁然長嘆。偷眼看趙構，他躺著毫不動彈，像是在沉睡，映著篝火跳躍不定的光焰，他清秀的五官上可看出分明的憂患之色。她以手輕撫，觸覺冰涼，而他的眼瞼似在她碰觸的那一瞬有微微的跳動。
次日下山後，鎮江守臣錢伯言發出的府兵找到了他們，將他們迎至鎮江府治中住下。趙構很快發現府治中溫暖柔軟的衾枕也仍然喚不回他的「精神」，這個發現對失地之後的他而言，無疑是雪上加霜般更為沉重的打擊。他難以置信，一次次地與嬰茀嘗試著欲再度尋回他喪失的能力，焦躁驚惶之下他的行為越來越狂亂而粗暴，嬰茀默默忍受著配合著他，但一切終究是徒勞的，到了第三夜，經過最後的無效嘗試後趙構失控般地起身，瘋狂地抓起所有能抓到的東西猛撕怒砸。
嬰茀跑去拉著他勸道：「官家不要……」
趙構一揚手便把她推倒在地，他朝她怒道：「你滾開！不必再跟著我了！明天我把你配給一個將領，你跟著那男人去過吧！」
嬰茀爬起來，依舊跑過去緊緊摟住他，淚流滿面地說：「我不要什麼將領，我的男人就是你！」
趙構怒氣不減，仍想把她推開，她不理他的推搡，繼續緊箍著他悲傷地說：「你是我的男人我的命，我的榮光我的天！能靠近你，活在你身邊我才是我希望的那個我，這點在我們相遇於華陽宮櫻花樹下那天我就認定了……不，不，還要更早，在你去太上皇寢宮扶起賢妃娘娘時，在你拒絕鄆王殿下的邀請時，甚至，在我初見你那天，你蹴水鞦韆、指揮龍舟爭標時……」
趙構在她激烈的告白聲中逐漸安靜下來，半晌後蒼茫地勉強微笑，輕輕對她道：「嬰茀，怎麼會這樣？」
擁著他的嬰茀清楚地覺察到他身體如深寒受凍般輕輕顫抖著，她愈加不肯放手，將淚濕的臉頰緊貼在他胸前：「官家，不要趕我走。會好起來的，一切都會好起來的……」
趙構亦以臂摟住了她，在透過小窗窺入屋帷的清涼月光中黯然闔上了雙目。
到鎮江後趙構召集了趕來的群臣商議去留問題。吏部尚書呂頤浩乞請留蹕，為江北聲援，而王淵則說鎮江只可捍一面，若金人自通州渡江而攻佔姑蘇，鎮江即很難保住，不如前往杭州，錢塘有重江險阻，要比鎮江安全得多。趙構遂決意趨杭，留中書侍郎朱勝非駐守鎮江，並命江、淮制置使劉光世充行在五軍制置使，控扼江口。於是率眾臣出發，經常州、無錫、平江、秀州、臨平等地，最後終於平安到達了杭州。趙構就州治為行宮，隨後下詔罪己，求直言，赦死罪以下罪犯，士大夫流徙者悉命歸來，惟獨不赦李綱。
趙構已在建炎二年十二月將尚書右僕射兼中書侍郎黃潛善遷左僕射兼門下侍郎，知樞密院事汪伯彥守尚書右僕射兼中書侍郎，並兼御營使。讓二人一為左相，一為右相。但這兩人專權自恣，而無執政大臣應有的遠見卓識，金人敢大舉南下也正因看出了二人的無能。到了杭州後，趙構痛定思痛，暗示御史中丞張澄查核二人所犯過失，張澄一向與二人不和，趙構一示意便立即心領神會地著手處理，很快列出黃潛善、汪伯彥「固留陛下，致萬乘蒙塵」、「禁止士大夫搬家，立法過嚴，歸怨人主」、「自真、楚、通、泰以南州郡，皆碎於潰兵」等大罪二十條，並正式上疏彈劾。
黃、汪二人尚不知此上疏是得自趙構的授意，散朝後一同求見趙構，跪在趙構面前流著老淚連連道：「非是臣等貪念名利，實在是國家艱難，臣等不敢具文求退。所以只好忍辱負重，甘冒不明事理之人的冷言冷語，繼續為陛下分憂……」
趙構不動聲色地說：「兩位愛卿當真是處處為朕著想，在為朕分憂、報喜不報憂上確實相當盡力。」
二人一愣，未敢答話。趙構繼續道：「北京被金人攻破後，張浚率幾位同僚建議說金軍敵騎將來，朝廷不能繼續宴然而無所防備，聽說二位卿家都笑而不信，瀟灑之極。金人破泗州後，禮部尚書王綯聽聞金兵將南來攻揚州，率從官數人奏請朝廷作出對策，群臣與你們商議此事，二位卿家仍然毫不緊張，據說還笑著對眾人說：『你們說的話聽起來跟三尺童子說的差不多！』……」
黃潛善、汪伯彥終於明白他意在降罪，立時惶然再三叩首，驚得汗如雨下。
趙構漠然看著，最後道：「江寧與洪州景色不錯，想來應該是適合修身養性和養老的地方，二位不妨前去住一段時日。」
次日趙構在朝堂上宣佈了罷二人相位的消息，命黃潛善知江寧府，汪伯彥知洪州。此後不久將他們這兩個官位也一併罷去了。