“书房”本来是官宦人家读书学习的地方，但在清入关前，却把它当成儒臣在宫内值班、工作地点的专用语。玄烨沿用旧称，在紫禁城设了两个书房，即南书房和上书房。南书房供入值内廷的翰林官们以诗词、书画等供奉皇帝，而上书房则是皇子从师傅读书学习的地方。
南书房最初是康熙帝本人的书房。康熙十六年十月，儒臣开始在那里供职。它对于玄烨习文写字，读史论经，吸取前朝统治者的经验教训，接受汉族悠久文化传统的熏陶，起过颇为重要的作用。
玄烨本人早已在康熙九年开设日讲和经筵，每天都与担任讲官的翰林官往来。但这种接触只限于讲课之时，他觉得远不能满足自已对知识的渴求。
康熙十六年十月，玄烨向内阁大学士提出：“朕不时观书写字，近侍内并无博学善书者，以致讲论不能应付。今欲于翰林内选择二员，常侍左右，讲究文义。但伊等各供厥职，且住外城，不时宣召，难以即至。着于内城拨给闲房，停其升转，在内侍从数年之后，酌量优用。”(《清实录》)
当时仅选择了两人，一是翰林院侍读学士、日讲起居注官张英;一是流落在京的浙江穷书生高士奇，由内务府在西安门内给他们找了两所空房做住宅，每天到宫中南书房入值。此后，玄烨又不断在南书房增设大臣。南书房成了与玄烨文化生活密切相关的地方。
南书房不是一个行政机构，一切供应，如笔墨纸砚、太监勤杂等均出自内务府。入值官员每天辰时在皇宫侍卫的伴送下到南书房上班，戌时才下班离宫。在南书房供职的大臣不另设职衔，仍称原职。
张英入值前是翰林院侍讲学士，入值后称“侍讲学士支正四品俸张英”。如果入值官员非翰林出身，入值后便看情况赐给官衔。布衣出身的高士奇，到南书房后赐予中书舍人的官衔，被称为“内阁撰文中书舍人支正六品俸高士奇”。一般统称他们为“南书房行走”。还有一些大臣，如李光地等，虽不是南书房的正式官员，但因与皇帝关系密切，也常出入南书房。
在南书房供职的大臣，任务离不开文墨。最早入值南书房的高士奇曾说：“余自康熙丁巳叨尘侍从，日值大内南书房，寒暑无问，将十有三年。日惟探讨载籍，与笔砚为伍。”(《天禄识余》)
南书房初成立时，玄烨刚学作诗，兴趣很浓，不但命张英、高士奇二人写诗进呈，还常召王士稹、陈廷敬等侍读学士进内廷赋诗。有时天晚了，就把他们留在南书房，摆御宴以赏赐。在赋诗作文这些事情上，他自知不如张、高等人，因此，同词臣们的关系还较平等。
康熙十七年八月，玄烨命张英、高士奇及讲官陈廷敬、王士稹、叶方霭到南书房读阅自己的诗集，并且提出要求：“朕万机之暇，偶有吟咏，未能深造古人。因尔等在内编纂，屡次请观，故出以示尔等。中有宜改定处，明言之，毋隐。”(《起居注档》)玄烨的诗并不高明，更何况他还在初学。不过品位卑下的词臣却不敢非议，照例要说一番“千古帝王所不及”的恭维话。至高无上的皇帝地位，使他难以听到大臣们的真心话。
当时刊印御制诗文集，或内廷要编纂什么书籍，编辑和校对的任务就落在南书房官员身上。如康熙十七年南书房奉命为玄烨编辑御札;康熙五十五年，苏州织造李煦承办刊刻御制诗三集，但修改、校对和粘签的工作，却由南书房负责。每当年节，康熙帝要向大臣赐字，内容多是福寿、嘉祉，松鹤、松寿等吉祥字句，也常由南书房官员代笔。
康熙朝后，一些文人在自己的随笔中记有南书房还担负着草拟谕旨的重任(见《檐曝杂记》、《啸亭续录》、《养吉斋丛录》、《恩福堂笔记》等)。但是从康熙年间的起居注档看，情形却并非如此。
就在张英、高士奇正式供奉南书房的第二个月，康熙下了一道上谕，明确指示“张英、高士奇，选伊等在内供奉，当谨慎勤劳，后必优用，勿得干预外事。伊等俱系读书之人，此等缘由虽然明知，着仍恪遵朕谕行”(《起居注档》)。张英、陈廷敬、王士稹等人在到南书房供职前都曾担任起居注官，他们对国政大事虽不起多大作用，却是直接介入政事，入值南书房后，就再也不担任起居注官了。
