《宾退录》，是南宋赵与时所撰前史轶事类笔记小说，聚集素日见识及与来宾所议论的内容，宾退后笔录成编，故名《宾退录》。书中考证经史多所触及，尤详于宋代典章制度，所记两宋人物掌故亦多详尽可信，具有较高的史料价值。
世传《宾退录》版别大致有两个体系，一为南宋临安府睦亲坊南陈宅经籍铺本，即所谓宋书棚本；一为清乾隆十七年（1752）存恕堂刻仿宋本。保藏《宾退录》即乾隆仿宋刻本，这一版别虽不能比较宋本，但因撒播不广存世稀疏，民国初年缪荃孙就称已不易见，也是稀少难得的珍本。
经过对书上的钤印、题记等信息进行整理。能够推知本书第一个有记载的保藏者应该是赵之琛（1781-1852）。赵氏为浙江钱塘人，字次闲，是清代闻名的篆刻家和书画家，精心嗜古，邃金石之学。“句耳山房保藏图书”是其藏书私印。
该书之后成为绍兴藏书家周星贻（1833-1904）的保藏，周氏据家藏旧抄本与之对校，墨书其上。书尾手跋云：“此本不知出谁氏刻，写刻颇精美，似翻宋椠本，而讹舛难免。旧有一写本，因检勘之，改正诸字表著上方，抱经先生云，不能够有刻本而废抄本，信然，巳翁识。”周星贻为晚清闻名藏书家、文学家、目录学家，字季贶，一号巳翁，身世藏书世家，博学多才视野特殊，心爱刻书精美，却不知此书刊刻源流，可见乾隆刻本在清末已属稀见。周氏后于福建任上因罪削职，常年留寓福州，为偿公款，同为藏书家的密友蒋凤藻出重金赞助，遂以藏书尽归蒋氏“心矩斋”，其批校本一向为藏界所珍，撒播广泛。
蒋凤藻（1845-1908），江苏吴县人，家资豪富，嗜书成癖，与周星贻同在福建为官，二人结为密友。藏书楼名有“心矩斋”、“秦汉十印斋”等。书上钤盖的“茂苑香生蒋凤藻秦汉十印斋祕箧图书”朱文方印，即为蒋氏藏书印之一。
是书之后又收入柯逢时囊中，卷首有“柯逢时印”钤印。柯逢时（1845-1912），湖北武昌人，晚清大吏，累官广西巡抚、督办土药统税大臣。生平喜著书、刻书，尤嗜藏书，官余网罗古籍善本极多，蒋凤藻所藏周星贻批校本多被其重价购得。
柯逢时逝世后，藏书珍本多流入日本，还有部分入藏湖北省图书馆、国家图书馆，其他藏书星散人世，流入私家、书商之手。民国年间，北京邃雅斋书店曾从柯氏后人手中收买旧书百簏，保藏《宾退录》或即其间之零种。建国后的1955年至1958年间，北京的一些私营古旧书店曾建立有“北京市图书业同业公会”，建立有议价小组，对古籍进行判定议价。据书上价签显现，本书于1958年1月2日议价12元，进入市场流通，继而入藏中央党校图书和文化馆。
保藏《宾退录》上的点滴信息，能够推测出它大致的递藏源流，但其完好的传递链条，即便参看文献中残存的一点记载，也已不能恢复。有些信息，像蒋凤藻藏书印下，那个形似“丁卯桥曾观”亦或“□桥曾观”的钤印，印章无法辨识印主也无从考证，疑问仍未解开。其实大多数古籍的流通信息常常一片空白，没有名家富丽的背书，毫无头绪能够追溯，在一代又一代默默无闻的藏书人中流通。后人对他们应该持有相同的尊重，多亏了这些懂书的爱书的有名的无名的保藏者们，倾尽心力妥善保管，才让这些宝贵古籍在历代波劫中得以保存，让中华民族文化瑰宝能够传之长远，有幸在巨大复兴年代再次勃发芳华。