建炎三年是趙構一生中最為艱難的一年。靖康二年，金人的鐵騎踏破大宋山河，掠走他的家人，在他後來掌握的殘破江山上留下了恥辱的記號，令他痛徹心肺，然而，若非如此，他不會有登基稱帝的機會。在穿上黃袍升御座，俯覽足下臣服的百官時，他的微笑寧靜如往昔，卻又異於尋常，那是他多年深藏的希望在瞬間盛放。於是趙桓的靖康二年變為了趙構的建炎元年，靖康二年會令他憶起殺戮、掠奪和傷痛的味道，而建炎元年則記錄著他的機緣、壯志和深切的喜悅。雖然金人的威脅並未散去，但他相信這不會成為永久的問題，仰首望天，天色明亮。
可是建炎三年於他來說，卻充滿了黑暗的夢魘和徹底的悲劇，他的喜悅煙逝在無休止的憂患與悲哀裡，從此他的心開始隨著目中的天色一起暗淡。年初的揚州之變給他身心造成重創，隨後的苗劉叛亂險些令他喪失帝位甚至生命，而這些僅僅是序曲，在接下來的幾月時間內他又充分領略到了禍不單行的真正含義。
平息苗劉之亂後，張浚等人請趙構還蹕汴京，這次趙構接納了他們的建議，自杭州啟行，但到江寧後又聞前方戰事告急，宋軍敗退，形勢不容樂觀，於是趙構改江寧為建康府，暫行駐蹕。
而他惟一的親生兒子就薨逝在這裡。
也許是他的母親在孕育他時受戰亂所累而動了胎氣，太子趙敷體質一向比別的孩子羸弱，建炎三年秋七月，趙敷在建康行宮中再次感染風寒，且數日不癒。最後，一位宮人誤蹴金香爐造成的響聲斷送了他的生命，這個不滿三歲的孩子被嚇得驚悸抽搐，越宿而亡。
初聽到這個消息時，趙構木然枯立片刻，然後趕去潘賢妃宮中抱抱身體漸漸冷卻的兒子，看著哭成淚人的潘賢妃淡淡說了句：「賢妃節哀。」所有人都訝異於他超乎情理的平靜，而他靜默外表掩蓋著何等深重的悲痛與憤怒，卻只有嬰茀知道，因此她提前把同情的目光投在了那個闖禍的宮人身上。
那女子在宮內的一片哀戚聲中瑟縮顫抖，一味低首跪著，當趙構的龍靴踏入她視線裡時，她悚然驚覺，含淚惶恐抬頭求道：「官家……」
甫吐出二字，趙構的鞭子已迎面落下，和著凌厲的刺耳響聲，如閃電般，一道深深的血痕霎時裂於她的臉龐、脖子和胸前。
女子淒慘地呼叫求饒，卻絲毫影響不了趙構揮鞭的速度。他額上與手上的青筋暴烈地凸起，徹骨恨意自雙目激射而出，與馬鞭一起反覆擊打著那女子。女子在地上不斷哀號、輾轉躲避，鞭子依然毫不留情地重重落下。趙構揮鞭的動作越來越猛烈而狂亂，體無完膚是那女子避無可避的結果，寸裂的衣衫碎片與濺起的血霧一起飛，除了銜著快意旁觀的潘賢妃，其他人都側目嘆息不忍睹。
趙構繼續失控般地鞭打著那宮人，直到馬鞭的手柄不堪他異常的力度而突然斷裂。他握著留在手中的一截殘柄，終於停住，微微喘著氣，怒恨的目光依然鎖定地上奄奄一息的女子，在兩名宦官戰戰兢兢地過來，問他如何處置她時，他決然道：「斬！」
嬰茀立即走來，輕輕取走殘柄，然後扶趙構落座。他坍坐於椅中，身上臉上滿是汗水肆虐的痕跡，嬰茀緩緩為他擦拭，觸及他目下皮膚時，絲巾下的手指忽地一熱，那是承接了一滴新落的液體。
「嬰茀，」他倚靠在椅背上，閉目說：「我沒有兒子了……」
他一向很注意在眾人面前自稱為「朕」，當重又用「我」自稱時，必是大喜大悲、情緒感情最紊亂的時候。而且此刻，他的語調與他的臉色一樣，絕望地蒼白著。
嬰茀自然明白這個事實對現在的趙構來說意味著什麼。他惟一的兒子死了，而他的身體情況也決定了他以後將不會再有兒子。縱然掌握天下又如何，他注定將是個無後嗣繼承他辛苦維繫的江山的孤家寡人。當真是命運弄人，可以在誰也不曾預料的情況下讓他君臨天下，卻又陡然掐斷了他的血脈，令他獨品斷子絕孫的痛苦。
「官家，」嬰茀緩緩在他身邊跪下，輕聲對他說：「有很多東西是可以失而復得的，城池和太子都不例外。」
趙構將兒子埋葬在建康城中鐵塔寺法堂西邊的一間小屋之下，經常駐足於墓旁，一站便是多時，一道蕭索孤寂的影子投在地上，時長時短，隨著流光漸漸衍變。
沉鬱之極的他脾氣也變得陰晴不定，多疑而易怒。而此時仙井監鄉貢進士李時雨偏偏很不知趣地上書，說儲君之位不宜久虛，乞陛下選立宗室子為儲，以安人心。上書趙構只掃了一眼便勃然大怒，兩手把上書撕得粉碎擲於地，怒道：「傳朕口諭：奪李時雨功名，斥還鄉里。」
於是李時雨一面感嘆自己這雨下得真不合時宜一邊背上行囊黯然還鄉。隨後幾天的宋金戰報也毫不給趙構解憂一笑的機會，看著他一日比一日憔悴煩躁，嬰茀便知道宋軍仍然在敗退，金人的兵戈離他們越來越近了。
「嬰茀，你覺不覺得杭州是個比汴京更好的地方？」一夜，在閱完奏摺後，趙構若有所思地對嬰茀說。
嬰茀頷首：「杭州風景優美，氣候宜人，若論居住環境，的確是勝過汴京。」
「而且，」趙構一嘆：「它比汴京寧和安全。」
次日，趙構下旨升杭州為臨安府，授意臨安官員注意城中行宮府衙及道路橋樑的修繕建設。這個決定沒讓嬰茀感到驚奇，她默默聽著身邊宮人興致勃勃地談論何時回臨安的問題，一抹櫻花的粉色自心底飄過，不禁有些悵然。她心知兒時生長之地汴京已離自己很遙遠了，也許不再有機會回去，而杭州——這個新名中含有「安」字的城市，應該會是她與趙構日後安居的地方。
安全感是趙構而今最缺乏也最渴望的東西，建炎三年十月某夜發生的一樁小事很清楚地證明了這點。那時他從建康移駕回臨安，中途暫宿於錢塘江邊的寺院歸德院，夜深人靜之時門外忽有震天巨響滾滾而來，如奔雷，如天崩，把趙構生生自夢中驚醒。細聽之下又覺得其聲似萬面鼓鑼齊鳴，鏗鏘激越，隱有金戈碰撞之聲，彷彿千軍萬馬正在激戰。
趙構立即推醒身邊的嬰茀，迅速起身，邊披鎧甲邊問外面的禁兵：「是不是金人襲來了？」
禁兵一愣，忙跑出去看，須臾跑回來稟道：「未曾發現金兵蹤影。」
「那這聲音……」
「是錢塘江潮起之聲。」
自古以來，錢塘江潮勢最盛，漲潮時猶如山崩地裂，一波波卷立起數丈水牆，傾濤瀉浪，噴珠濺玉，勢如萬馬奔騰，其聲自然也響亮非常，能傳數里。趙構這才反應過來，釋然坐下，回想自己剛才的行為亦有些慚愧，看看嬰茀，自嘲一笑：「是不是覺得朕一驚一乍，有失風度？」
必定是想起了揚州那晚之事，他剛才惶恐得像只受驚的小動物。但面對他的提問，嬰茀卻搖搖頭，俯身握住他冰涼的手，說：「亂世之中，官家隨時保持警醒是必要的。」隨後亦淡淡笑了：「剛才聽到潮聲，臣妾也很害怕。」
那時金帥兀朮聽說趙構要回臨安，便大興水師，準備由海道來襲。趙構在臨安只留居了七日，見金軍來勢洶洶，愈逼愈緊，便復渡錢塘江至越州。此前趙構已經把隆佑太后及潘賢妃、張婕妤送至較為安全的虔州，身邊照例只留嬰茀一人。
金軍一路攻城拔寨、勢如破竹，不久後便攻破了建康，趙構帶著嬰茀頻頻移駕躲避，短短數月內差不多已跑遍江浙各城。建康城破後，江淮屏蔽已失，臨安與越州等地都不再安全，趙構一路退至臨海的明州。宰相呂頤浩勸他在迫不得已之時不妨出海暫避，道：「目前之計，惟有航海以避寇氛。敵善乘馬，不慣乘舟，等敵兵退去，再還蹕兩浙。彼入我出，彼出我入，這本來就是兵家的奇計。」
隨後的形勢也逼得趙構無法另想良策。兀朮長馳南進，先趨廣德，再抵臨安。臨安守臣康允之匆忙逃走，錢塘縣令朱蹕自盡殉國，兀朮再遣大將阿里蒲盧渾率精兵渡江追擊趙構，誓要將他活捉回金。趙構因此接納了呂頤浩的建議，乘樓船入海暫避金兵。
自此一連數日舟行海中，途經定海、昌國等縣而不靠岸停留，趙構終日鬱鬱難展笑顏。某日御舟如往日般在浩淼煙波中破浪前行，趙構在舟中閱書，嬰茀隨侍在側，忽聽外面甲板上「啪」地一聲響，似有重物落下。兩人當即出艙去看，但見原來是一條巨大的白魚自海裡躍出，竟躍到了舟上，此刻正在甲板上不住騰跳，兀自帶著水珠的鱗片在陽光下閃著晶瑩的光。
宮人們嘖嘖稱奇，趙構默然漫看，一言不發，而嬰茀則微笑著朝趙構盈盈一福，說：「臣妾恭喜官家，此乃大吉之兆。」
趙構問：「何以見得？」
嬰茀道：「昔日周武王渡海途中也曾見白魚獻瑞，後來果然得以滅紂興周。官家如今亦得此祥瑞之兆，可見天下不久後將慶昇平。」
這話終於引來趙構舒眉一笑，對她說：「嬰茀，你真是很有心。朕該怎樣謝你呢？」
嬰茀含笑答：「嬰茀只要能見官家常露笑顏，便會覺得很開心。」
趙構牽她的手邁步回艙，親筆寫下詔書：進和義夫人吳氏為才人。
在舟上待到歲末，眼見天氣一天冷似一天，北風凜冽，飛雪似楊花，水面上的御舟不足以禦寒，居於其中寒冷異常，趙構遂準備登陸度歲，不料又接到接到越州失陷的消息，於是趙構又折回艙中，望著嬰茀嘆道：「看來我們只能在水面上過年了。」
「這也未必不好。」嬰茀安慰他說：「今年官家在舟中過新年，就如漁翁一般。聽說金國宗室將帥間彼此也在明爭暗鬥，或許這預示著賊虜鷸蚌相爭，而官家將坐收漁人之利。」
「你很會說話。」趙構勉強一笑：「事到如今，真覺得這皇帝不當也罷，莫如真做漁翁，倒落得無憂無慮、逍遙自在。」
那年的元旦他們便在海上舟中度過。金兵追擊不果，在攻下的城鎮燒殺搶掠後亦不設重兵留守，掌握軍權的知樞密院事張浚重用韓世忠、岳飛等將，穩步反擊，逐漸收回了大部分江淮失地，趙構才得以登陸回去。