又过了两年，宋仁宗的次子出生，眼看着这个儿子似乎能长大，所以赵曙就被送回了亲生父亲身边，这个时候赵曙才八岁。
这一进一出对赵曙的影响是很大的，所以后来他越发谨慎，朝廷授予他的官职，总是一再推拒，而宋仁宗也一直在盼着自己的亲生儿子出生长大，只不过三个儿子都没有活过三岁，只能在1062年立赵曙为皇子，这个时候赵曙还叮嘱身边的人看好自己的房子，万一将来宋仁宗再有了儿子，他还会回来。只不过宋仁宗第二年就去世了，留下遗诏让赵曙继位。
成为皇帝之前的这段经历对赵曙来说谈不上愉快，他对宋仁宗并没有感激之情，反而隐隐有不痛快之意，自然不会善待宋仁宗留下来的一后五女。
赵曙对宋仁宗的五个女儿显得有些不近人情，他虽然将这些公主都晋封为长公主，但却让她们搬离原来的居所，给他自己的女儿们腾地方，而这些长公主都被要求住进了闲宫，闲宫是什么地方呢？其实就是类似于冷宫的地方，偏僻又荒凉，这从富弼和司马光的奏疏中就可以看出来。
富弼曾上疏：“向者窃闻先帝诸公主，陛下易其所居，以安己女，此知者尤甚动心，亦未尝闻陛下略加恩煦。”又有“其所急而宜先者，惟是仁宗一后五女……切在陛下照恤之，恩怜之。”
司马光也曾上疏：“先帝擢陛下于众人之中，自防御使升为天子，唯以一后数公主属于陛下，而梓宫在殡，已失皇太后之欢心，长公主数人皆屏居闲宫，希曾省见。”
从富弼和司马光的奏疏中，不难看出宋英宗对宋仁宗的留下来的一后五公主并未善待。富弼是在宋英宗继位不久之后就进谏的，而司马光则是隔了两年之久又进谏的，这说明宋英宗并未听从富弼的建议，依旧一意孤行，并未善待五位公主。
与五位公主的遭遇有所不同，曹皇后虽然也为宋英宗所不喜，但她毕竟是皇太后，而且，宋英宗刚继位就生了一场大病，由曹太后垂帘听政，时间长达一年之久，在这段时间内，曹太后和宋英宗之间的矛盾渐渐多了起来，幸有韩琦和欧阳修等人在中间调和，两人之间的关系才渐渐缓和。
但等到宋英宗病好，曹太后还政于宋英宗之后，两人之间又有了大的矛盾，即给已逝的宋英宗之父一个名分，曹太后自然坚持将其定为宋英宗的皇伯，而宋英宗则希望将其定为自己的皇考。
这不仅是宋英宗和曹太后之间的战争，更是引发了朝堂上长达一年半的争论，最终曹太后退了一步，宋英宗胜出，其父被追尊为皇考。
总起来说，宋英宗和曹太后之间矛盾不断，倒也没有闹成太大的事，当然也是因为宋英宗为帝时间不长，做了三年多的皇帝就去世了。宋英宗去世之后，其子赵顼继位，即宋神宗。
也许真的是隔代亲。宋神宗和曹太皇太后的关系倒是极好，宋神宗不仅对曹太后很孝顺，就是对宋仁宗的那些公主也很好。
