哲宗趙煦崩後，向太后在神宗諸子中選擇了第十一子趙佶為帝，這便是趙構與柔福的父親徽宗。趙佶深受其姑夫、賢惠公主駙馬王詵影響，從這位汴京風流才子那裡繼承和發揚了三大愛好：繪畫、蹴鞠和食色。他號稱繼承父親趙頊與哥哥趙煦的遺志，像他們那樣推行新法以強國，但借皇權之便及時行樂的熱情很快勝過了即位之初的滿腹壯志。他做不到如父親趙頊那般銳意改革不事游幸，而在詩詞歌賦、琴棋書畫、尋花問柳上的造詣就遠非父親可比。他為數眾多的妃嬪共為他生下三十一個兒子和三十四個女兒，趙構是第九子，柔福是第二十女，同父異母，在諾大的宮廷中照理說應像其他皇子與皇女那樣，各自與自己的母親居住，甚少有接觸的機會，雖有兄妹名份，關係卻大多是疏遠的，即便相逢也未必相識。
但是，柔福對趙構來說卻與別的妹妹不一樣。自她誕生之日起，他便很清楚地意識到了她的存在。
趙構記憶中的母親韋氏是位非常溫柔嫻靜的女人，像後宮許多女人一樣，以一種仰視而崇敬的態度卑微地愛戀著他的皇帝父親。她常常在黃昏之後立於所居庭院之中賞園圃內的春蘭秋菊，目光卻不時有意無意地飄出影壁朱門，似在尋覓某人的身影。往往如此一站便是許久，直到月上柳梢，目中的希望漸漸燃盡。
長大之後，趙構開始明白了母親賞花的含義，也看懂了她並不受父皇寵愛的事實。與父皇別的妃嬪比起來，母親缺少能吸引他的優點。出身不及王皇后，姿色不及大小劉貴妃，口才不及喬貴妃，「資歷」不及王貴妃與後來被冊封為後的鄭貴妃，若真要尋值得一提之處，母親惟剩的便是那寒微出身造就的一脈溫順的性情了，可是這在一身風流才子習氣的父皇看來卻也未必是什麼亮點。
在眾妃中，趙佶尤其寵愛王、鄭二貴妃，她們起初是侍奉向太后的宮女，因聰明伶俐又乖巧，頗得太后歡心，太后遂命她二人為慈德宮內侍押班，趙佶還在做端王時，每次入宮向太后請安都是她們代為傳報。趙佶見她們姿容嬌豔嫵媚，人也聰慧而善解人意，便有了愛悅之意，時時與她們眉目傳情。這一切向太后都看在眼裡，待趙佶即位之後就把她們賜給他為妃。
也許在兩人之中趙佶更愛鄭貴妃一些，所以在元配王皇后崩後即冊封鄭貴妃為後，但對王貴妃的寵愛也絕非普通宮人可比，這點從王貴妃的所育兒女數量就可看出。她先後生下了鄆王楷、莘王植、陳王機及惠淑、康淑、順德、柔福和沖懿五位帝姬，柔福生於政和二年，是王貴妃的第四個女兒。
趙構的母親韋氏只生了他一個孩子，而且，這已經是很意外的結果了。她起初只是服侍鄭皇后的宮女，與皇后宮中另一宮女喬氏十分要好，兩人遂結為姐妹，並約定若以後誰先獲皇上寵幸必為他引薦另一人，共享天子恩澤。後來還是活潑喜人能言善道的喬氏先吸引了趙佶的目光，得寵之後她一路升至貴妃，而她也並未忘記當初誓約，在趙佶枕邊說盡好話，勸他納韋氏為妃。這事對趙佶來說自然何樂而不為，不過臨幸之後轉頭便忘，只給了韋氏一個毫無地位可言的「平昌郡君」的封號。幸而韋氏頗有運氣，寥寥幾夕侍寢之後便懷了身孕，並於大觀元年生下了趙構。
韋氏此後一生的尊榮全由此子帶來。
因生了趙構，她很快被進封為婕妤。隨著趙構的成長，趙佶逐漸發現這個兒子有不同於其他諸子的智慧與膽略，於是頗為喜愛他。因愛子之故，對他的母親也格外施恩，又升她為婉容，不過她的地位一直仍難與另外幾位貴妃相比。
趙構第一次感覺到這點是在政和二年母親生辰那天。
那時他年僅五歲，但異常早慧的他已能記住那日發生的事，並在將來的幾年中理解了這事透露出的訊息。
當他父皇趙佶黃昏之後果真走入母親韋婉容的庭院時，她竟全然沒反應過來，一時忘了請安，只愣愣地望著她的皇帝夫君，木然呆立，不發一言。直到趙佶笑著對她說：「婉容可是不認識朕了麼？」她才滿面暈紅地拉著兒子趙構施禮。她習慣了黃昏後的無望的等待，卻早已忘了若真等到了人來的時候她該如何面對。
隨後的她笑得倉促卻喜悅。她的玉顏在流逝時光中悄然暗淡，此刻由衷的欣喜終於給了她重煥容光的機會。多年以後趙構仍然記得很清楚，母親那時目中閃現的神采是他從未見過的。那日的母親異常美麗，在父皇命人點亮的華燈光線之下，她溫柔地依在父皇身邊，聽他語笑晏晏，間或輕輕抬目視他，脈脈含笑。
她的笑容在趙佶不經意地說起一個事實時忽然有凝結之感。他說：「朕記性真是不好，若非喬貴妃提醒，險些就忘了今日是愛妃生辰。」
但是，她那一瞬間的失望神色很快消失，重又微笑開來，連聲謝皇上的眷顧垂愛和禮物賞賜。後來趙構猜測，也許，母親是很清楚，能在生辰之時得到皇帝的臨幸已是意外之福，她本無資格計較這個恩典是發自他本心，還是在別人勸說提醒之下出於憐憫施捨才施於她的。
可是她這難得的幸福時光也並未持續多久。那晚生辰宴席未罷，便有王貴妃的宮女跑來稟告王貴妃即將早產的消息。
王貴妃本次預產之日是在五日後，沒想到竟會在這日便出現早產跡象。宮女說貴妃似乎深感痛楚，恐是難產。
趙佶聞聲大急，立即起身向外走去，連向韋婉容道別都沒想到。韋婉容也惶然站起，不敢挽留，只默默一福恭送。倒是趙構追著出去拉住了父皇的衣服，對他道：「今天是母親生辰，父皇必須走麼？還會回來麼？」
趙佶低頭和言道：「父皇現在必須去看看。一會兒會回來看你和你母親的。」
然後決然離去。這晚再也沒回來。
趙構與母親對著殘席等至深夜，才有宮人來報：「王貴妃生下一位小公主，皇上很喜歡，又見貴妃產後虛弱，所以留下照料，請娘娘不要再等了。」
趙構聞言再問母親：「父皇是不是不來了？」
韋婉容默然片刻，然後輕輕把他抱起，微笑著對他說：「構兒，你又多個妹妹了，喜不喜歡？你父皇要照顧你的新妹妹，所以今天來不了了。但是沒關係，我們不可以怪他。」
從此趙構便記住了，他有一個生於政和二年，與他母親一天生日的妹妹。
政和三年，趙佶聽從蔡京建議，仿周朝稱公主為王姬之舊制，改稱公主為帝姬，郡主為宗姬，縣主為族姬，並用二字美名替換以往的國名封號。
趙構記得那個妹妹的美名是從喬貴妃口中聽來的。某日喬貴妃前來與韋婉容聊天，其間談起王貴妃的女兒時忽然很有興致地說：「姐姐見過王貴妃的四女兒麼？就是跟姐姐一天生日的那個。長得真是玉雪可愛，而且一見人就笑，也不怕生，甚是可人。官家賜她美名為柔福，是所有帝姬中最好聽的了。」
韋婉容一聽也笑著說：「真的麼？那我什麼時候也去看看，順便準備點禮物送給她。」
她們繼續閒聊著，都沒在意一旁玩耍的趙構，也不知道他一直默默地聽著，並記下了那與母親一天生日的妹妹叫柔福帝姬。