七年后，十六岁的赵缓晋爵普安郡王。看看高宗迟迟不立赵缓为太子，外面的大臣开始议论纷纷。按皇室规定，赵缓应独立生活，不能再留在后宫，于是搬进了专门为他建造的郡王府，每月朔望二日人朝参拜。
1140年5月，金兵大举南犯，分两路杀来。消息传到临安，高宗急令岳飞率军御敌。岳飞趁机送卜一个密奏，强调要“正国本以安人心”。此前，岳飞曾在入京奏对时与赵缓见过面，觉得赵缓英明俊伟。高宗很不高兴，当面对岳飞说:“卿握兵在外，这件事不是你应该管的。”自此他对岳飞 疑心加重。赵鼎等人极力主张早立皇子，高宗怀疑这些人可能是另有所谋，竟将其发配至边地管置。其他的大臣见势不妙，大多三缄其口，不敢再谈及建储之事了。
1143年底，赵缓生父在秀州病逝，第二月讣告传到临安。其时赵缓正在娶亲，接到死讯，左右为难。自己人宫十多年，已作为储君候选人，但现今生父去世，不守丧服孝，也不合礼仪，到底该怎么办?大臣们为这事发起愁来，为赵缓出主意的不少，各种主张都有，更令赵缓失去了方向。宰相秦桧对赵暖从没好感，一直想让赵豫代替赵缓，这时极力主张赵缓应该回秀州服孝三年。高宗想想不让他服孝不合祖宗典故，有悖于人情世故，就批准他解职守丧。
三年后，赵缓服丧毕，仍以普安郡王遥领节度使。几乎同时，高宗加封赵球为检校少保，进封恩平郡王，出宫就居郡王府。一时赵缓与赵壕并为郡王，地位相当，号称“东西府”。
吴才人这时已册立为皇后，她常常附和秦桧的意见，想立自己收养的赵凉为太子。从金国归来的高宗母亲韦太后从没有明确表态应该立谁，但从日常的一些言行来看，她是偏向赵豫的。高宗的本意较倾向于赵缓，认为他俭约孝仁，人挺不错的，但考虑到种种因素，一直无法决断。
随着年龄的增长，赵缓也经常就时政发表一些看法，由于意见相左，他与宰相秦桧的关系十分紧张。1155年，秦桧病重，其家人封锁消息，企图让秦桧子代父职，继续执政。赵缓听说后，马上向高宗报告。高宗其实也觉得秦桧平时所作所为太过头了，正想夺了他的权，于是就亲赴秦家，表面上说是探病，实际上是观察虚实，回朝后马上让秦桧告老还乡。当天夜里，秦桧在忧惧中死去。
秦桧死后，一些大臣再次提出立储问题。晋原人阎安在考进士的策文中大胆地发论数千言，认为高宗挑选太祖后裔于宫中已有二十多年了，对他的考察时间已经很长，但储君却一直未定。恐怕朝廷中的俊臣会暗生异望，朋比结党，成为社樱遗祸。高宗想想确是如此，对阎安的直言深为赞叹，御笔一挥，钦定他为探花。
见到高宗首肯了阎安的意见，大臣们的胆子也大了起来，重新将立储之事提了出来，希望高宗早定主意。这时的高宗对赵缓仍有些不放心，决定再进一步考察赵豫和赵缓的优劣。他同时赐给二人宫女各十人，看看他们在女色面前的表现。赵缓的老师史浩一眼看穿高宗的用意，提醒赵缓行事要谨慎。没过多久，高宗又将宫女们召回，逐个派人检查，赐给赵玻的宫女已全不是处女，而赐给赵缓的宫女却完璧如初。得到这个结果，高宗心中主意已经拿定。
1159年，韦太后病死，高宗感到已没有人能阻止他立谁为储君了。大臣张熹上言，请求高宗早立储君，两位宗子“谁为君，谁为臣，应当晓谕天下”。高宗回答说:“我也很想立储君，但有种种因素掺杂其间，使我难下决定。明年春天，一定会举行立储典礼。”
1160年2月，韦太后丧事处理完毕，高宗正式宣布:“普安郡王十分贤明，可授少保、使相的职务，爵位进至真王，以示与恩平郡王有所区别。”宰相汤恩退提出，不是皇帝的至亲是不能封真王的，若封藩王可以称为皇侄。现今进封真王，应该确定是皇子的身份。高宗想想事情要做得符合礼制，就干脆立赵援为皇子吧。22日，宫廷内正式举行了隆重的皇子册封仪式，高宗御笔亲书:“缓可立为皇子，改名玮。”第二天，册立皇子的诏书正式公布天下。史书记载诏书颁下后，朝廷大臣们“动色相庆”，全国欢腾，庆祝持续三十年的立储总算定了下来。
