在古代，书房是官宦人家读书学习的地方，但在满洲女真入关前，一直把书房当成文臣在宫内值班、工作的专用语。
康熙皇帝一直沿用原有称呼，在宫廷内设置了两间书房，南书房与上书房。
南书房供清朝入值值内廷的翰林官们以诗词书画等来熏陶皇帝，而上书房则是清朝皇子跟随老师读书学习的地方。
南书房最初只是康熙皇帝本人的书房。
康熙皇帝早在康熙九年（1670年）开设日讲和经筵，每天都与汉人翰林们来往。但这种来往仅限于课堂之上，康熙皇帝感觉远不能满足自己对知识的渴求。
康熙十六年（1677年），文臣开始在南书房供职。它对于康熙皇帝读史论经，接受汉人文化传统的熏陶，起到过比较重要的作用。
同年，康熙皇帝认为自己喜欢看书写字，但是近侍们要不是目不识丁的太监，要不就是八旗子弟，博学善文之人基本没有，以至于和自己讲论时完全不能应付。所以想在翰林内选择二人专门侍奉左右，探究经义史论。
当时选择的两人，一人是翰林院侍读学士、宫廷起居注官张英，另外一人是浙江贫穷书生高士奇，然后由清朝内务府在紫禁城西安门给他们两找了空房做平时的住宅，每天跟随内侍进入宫廷中的南书房轮值。
此后，康熙皇帝还不断地在南书房增设文臣。南书房俨然成为康熙皇帝的个人生活活动场所，谈经论道，品茶下棋都在这里进行。
南书房从来不是一个正式成立的行政机构，所有的经费和人员比如笔墨纸砚，比如太监执勤等等都是由内务府包办。入值官员每天准时到南书房上班，然后准时下班离宫回家。在南书房供职的那些文臣们也不另外设置职务与官衔，仍然是原来的职务与官衔。
张英入值南书房前是翰林院学士，入值后仍然是侍讲学士支正四品俸张英。但是如果入值人员不是翰林出身的，入值之后便要看康熙皇帝的意思赐给职务与官衔。
布衣出身的穷秀才高士奇入值南书房后被康熙皇帝赐予中书舍人的官衔，也就是内阁撰文中书舍人支正六品俸高士奇。
后来一般都称他们为南书房行走。
进南书房也没有什么严格标准，比如一些大臣虽然不是南书房的正式官员，但也因为与康熙皇帝关系密切而出入南书房。
在南书房供职的那些官员们经常要谈经论史，吟诗作文，甚至讨论国家大事，自然少不了文房四宝。
高士奇曾经说道：“余自康熙丁巳叨尘侍从，日值大内南书房，寒暑无间，将十有三年。日惟探讨载籍，与笔砚为伍。”
南书房刚刚成立的时候，康熙皇帝对诗文特别感兴趣，命令张英、高士奇二人与自己吟诗作诗，还经常召集其他翰林饱学学士进南书房一起吟诗作诗品诗。
在作诗作文上，康熙皇帝颇有自知之明，他自知不如张英、高士奇等文人，一直都虚心学习，因为，康熙皇帝一直把态度放得很低，所以他同这些文人词臣们的关系还算比较平等。
康熙十七年（1678年），康熙皇帝让张英、高士奇、陈廷敬、王士禛、叶方霭等人到南书房读阅自己作的诗集，并且要求他们对自己的诗集中的不足加以指出，《起居注档》记载“明言之，毋隐。”
当时要刊印御制诗集文集或者什么书籍，编纂校对的任务一般都就落到南书房官员们的身上。比如每到了过年的时候，康熙皇帝喜欢自己写字赐给大臣们，内容一般是福寿、嘉祉，松寿等等比较喜庆字语，后来康熙皇帝逐渐年迈，很多字句也开始由南书房官员代笔。
就在张英、高士奇正式轮值南书房的不久之后，康熙皇帝特意下了一道谕旨，明确指出张英、高士奇等南书房行走不能干预外政。张英、陈廷敬、王士禛等人在成为南书房官员之前都担任过起居注官，但是成为南书房官员后，就再也不能担任起居注官。