柔福死後，韋太后帶回的那棺木中的骸骨身份被正式確認為柔福帝姬，趙構將其追封為「和國長公主」，並發喪厚葬。
紹興十三年二月，太師秦檜率群臣三上表乞選正中宮。趙構請韋太后降手書立後，韋太后說：「我只知家事，國政要事非我所能干預。你自己拿主意便是了。」
閏四月己丑，趙構立貴妃吳氏為皇后。制曰：「顧我中宮，久茲虛位。太母軫深遠之慮，群臣輸悃愊之忠。宜選淑賢，以光冊命。」
吳嬰茀入主中宮後待太后更為孝和恭順，親自供承太后飲食衣服，將慈寧宮中事料理得無處不妥帖，與太后相處融洽，此後十數年，兩人間未曾有一件不快事發生。
吳後嬰茀弟吳益娶秦檜長孫女為妻，又與醫官王繼先交相薦引，三家姻族相繼加官進爵，顯貴一時。嬰茀見趙構提及皇后邢氏時每每悒鬱不樂，遂請趙構為其侄吳珣、吳琚賜婚邢氏後族二女，「以慰帝心」。
趙構待嬰茀不薄，凡她所請也大多應承，但自立後之後即廣納妃嬪，選的多為通文墨、曉音律的年輕美女，閒暇時便去品鑑她們才藝，與嬰茀相處的時間日漸稀少。
一如往常，嬰茀全無妒色，甚至還於紹興十九年，親選一名叫玉奴的吳氏族女獻與趙構。趙構先封玉奴為新興郡夫人，後進為才人，但對她了無興趣，數年後命其出宮歸本家。
諸妃妾中，趙構最寵愛者有兩人，劉貴妃與劉婉儀，宮中人分別稱之為大劉娘子與小劉娘子。
劉貴妃有一雙纖足，穿著繡鞋形如新月，纖巧可愛。趙構待其優渥，劉貴妃恃寵驕侈，曾在盛夏以水晶裝飾腳踏，那日嬌慵地斜靠於床上，雙足蓮鞋精美，閒點腳踏上水晶，滿心以為趙構見此情形必會倍加愛悅，豈料趙構入內一見，臉微微一沉，冷眼看她，道：「這是腳踏麼？取來做枕頭。」
他語調只是淡然，也沒有許多怒色，卻已把劉貴妃驚出一層冷汗，立即悻悻地撤去腳踏，此後再也不敢做此等暴殄天物之事。
劉婉儀則生得嬌俏可人，性情又活潑，能歌善舞，且撫琴吹笙技藝雙絕，故此趙構尤為眷顧。劉婉儀亦不安分，恃恩招權，曾遣人命廣州蕃商獻明珠香藥給她，暗許以官爵。舶官林孝澤得知後稟告趙構，趙構當即詔止蕃商進獻。回宮斥責劉婉儀，而劉婉儀頗不以為然，牽趙構袖嬌嗔告罪，趙構心一軟，也就不忍苛責於她。
紹興三十一年，劉錡都統鎮江之師，聽說金人將叛盟，有意渡江攻宋，遂屢次請求對金用兵，趙構不許，劉錡仍申請不已。王繼先等人堅持和議，稱用兵恐誤大計，王更暗示趙構應誅殺劉錡：「如今邊鄙本無事，只是有一些好戰的軍官，喜於用兵，欲圖邀功請賞。若斬其中一二人，則和議可以穩固如初。」趙構不悅，一語回之：「你是要我斬了劉錡？」王繼先便不敢再多言。
此後趙構在劉婉儀處進膳，因心憂邊鄙事，久久不舉箸。劉婉儀覺得奇怪，便命內侍去打聽官家因何煩惱，很快探知劉錡主戰之事與王繼先之言。翌日見趙構依然深鎖愁眉，劉婉儀便也輕嘆一聲，作善解人意狀，說：「劉錡妄傳邊事，教官家煩惱。」
趙構聞言抬目，瞥她一眼，不動聲色地問：「哦？這事小劉娘子可有良策？」
劉婉儀見趙構徵詢自己意見，很是欣喜，只求寬解帝意，連連說朝廷應堅持和議，劉錡主戰出於一己私利，不如斬之，所言大抵與王繼先的話相似。
趙構冷面聽她說完，才揚手掀翻滿桌酒菜，指著她怒問：「你不過是婦人女子，如何得知軍政要事？必有人教你欺我！」
劉婉儀從未見他如此盛怒，跪下請罪，顫慄著吞吞吐吐地道出原委。趙構越發惱怒，將她斥出，賜第別居，永不再召見。並連坐王繼先，貶其福州居住，停子孫官。
韋太后的侍婢楊氏未活到南歸後次年元旦。紹興十二年歲末，楊氏年滿六十，韋太后在慈寧宮為其慶生辰，趙構亦賜御酒一壺及金帛若干相賀。楊氏謝恩領受，欣然飲下御酒後當夜便無疾而終，「含笑九泉」。
趙構此後向太后宮人下旨道：「為太后壽考康寧計，今後慈寧宮中大小事均直接稟告朕，勿與太后商議，以免太后煩心。」
楊氏既死，韋太后的生活頓時歸於沉寂。終日身著素袍獨守青燈古佛，不苟言笑，只唸佛誦經。雖趙構常命人供進財帛於太后宮，她亦無心去用，節儉度日，所得財帛大多閒置於庫中。也極少與宮中人往來，惟准嬰茀每日入省。嬰茀順適其意，曾親手繪一卷《古列女圖》，將太后繪於其中，又取《詩序》之義，為太后佛堂匾額題字「賢志」。
紹興二十六年十月，尚書右僕射萬俟離上《皇太后迴鑾事實》。臣下呈書於太后時亦選取大批禮物一併奉上，韋太后悉數退出不受，趙構遂向群臣大讚太后儉德，道：「宮中用不上這許多禮物。皇太后今年七十七歲，而康健如五六十歲，皆因德行感天之故。這等福澤自古帝后都未嘗有。」
韋太后每年生辰趙構都會為她隆重慶祝，並不忘同時宣揚她的年歲高壽。凡見過太后的人都訝異於她遠比年齡年輕的容貌，隨即不免對她的德行福澤又有一番感慨稱頌。
太后身體也一直較為康健，只是眼睛越來越不好，視物日益模糊，到後來有一目近乎失明。見御醫對太后目疾束手無策，趙構便在國中遍尋良醫。紹興二十八年，臨安守張偁推薦一位善風鑑之術的蜀人皇甫坦為太后治病。趙構召其問如何醫治，皇甫坦答道：「心無為則身安，人主無為則天下治。」趙構聽後若有所悟，引他入慈寧宮為太后用其術。太后目疾漸好，趙構大喜，厚賞皇甫坦財物，皇甫坦一無所受，辭謝而去。
但韋太后眼明心靜的日子亦未過多久，紹興二十九年九月庚子，皇太后韋氏手持一串佛珠崩於慈寧宮寢殿。
太后在世時，一直希望趙構能有親生皇子繼承皇位，故始終不允許趙構正式確立養子皇子身份，更不願他立養子為儲。而在趙瑗與趙璩二子中，她也更喜歡璩，對趙構更為鍾意的瑗毫無援立意。
紹興十五年二月，在韋太后與吳後的促進及與趙瑗不和的秦檜慫恿下，趙構加封趙璩為檢校少保，進封恩平郡王，出宮外居。一時璩與瑗並為郡王，地位平等，諸臣私下稱之為「東西府」。
紹興二十五年十月，秦檜病重。他與家人及黨羽商議，決定封鎖消息，企圖由其子秦熹代其繼續把持朝政。趙瑗聞訊立即稟告趙構，於是趙構親赴秦家，以探病為名驗其虛實。秦檜不發一言，惟涕淚交流。秦熹奏問代居宰相為誰，趙構答：「此事非卿所應預聞。」隨後拂袖出室，乘輦還宮，當晚便召權兵部侍郎兼權直學士院沈虛中草擬秦檜父子致仕制（即因年老解官的手續文書）。秦檜見陰謀不成，憂懼不已，於失望中嚥氣離世。
經此一事，趙構更為賞識趙瑗，也更著意考驗。趙瑗不喜聲色，郡王府中姬妾寥寥。某日趙構召趙瑗與趙璩入宮，賜他們宮女各十人。未過許久又將這些宮女召回，命人檢視，見賜給趙璩的宮女已非處女，而入趙瑗府中的那些尚完璧如初。趙構雖就此未置一辭，但心中已有定論。
太后崩後，趙構有意詢問皇后嬰茀於立儲一事的意見，嬰茀微笑答：「普，即『並日』二字。普安，其天日之表也。」趙構遂一笑，於紹興三十年二月御筆付三省：普安郡王瑗可立為皇子，更名瑋。數日後，進封皇子為建王。
紹興三十一年五月甲子，詔立建王瑋為皇太子，更名慎。
六月丙子，詔皇太子趙慎即皇帝位，是為孝宗。趙構改稱太上皇帝，與太上皇后吳氏退居德壽宮。