古代文人游玩山水，体会自然的感染力，宋代郭熙在《林泉高致》中描述：“春山澹冶而如笑，夏山苍翠而如滴，秋山明净而如妆，冬山惨淡而如睡。” 春山之明媚，夏山之茂盛，让人感受到自然的生命力，构成了人与自然密切的关系。孔子“登泰山而小天下”且“仁者乐山、智者乐水”，伟岸的大山，让正直善良的人看到仁厚的内心，也让善于思考的人在山间清泉的流动中感受到时间的流动……人的思想与自然如此之紧密。
从艺术表现的角度来说，山、水、树、石、云，包括气候的变化都是山水画构成的基本自然因素。与一般人看山的方式不同，艺术家把真实的山石、云烟、树木等物象抽离出来，并加上自己的思考把笔下的自然引申到哲学的高度。
在中国，人与自然的关系不是对抗，而是 “天人合一”。山水无言，但它是你的老师，南宋画家马麟画过一张《静听松风图》：画面中一棵松树下坐着一位老者，山上有涧水流下，风微微吹过松树，老者就在听山水、松风的声音，边上童子垂手而立。其中揭示了人与艺术的关系也是山水画中人与自然的合一。中国人对山水充满依恋，且把自然作为心中敬畏的、不会被毁去的情感，这就是山水画为什么会进入中国绘画以及山水画的起因。
南宋 马麟 静听松风图
说到山水画的形成，就不得不提宋代山水。中国山水画在成为独立的画派之前是作为人物故事背景承托的描述，所以那个时候的“人比山大，水不能行船”。比如说顾恺之的《洛神图》的山水就是人物的陪衬。
晋 顾恺之 洛神赋图卷（局部，宋摹本）
山水真正进入视线是魏晋时期儒家的思想认为“道”已经崩溃，而道家的玄学主张个体不断自我解放并转到自然中去，如谢灵运、陶渊明、“竹林七贤”等文人离开人群回到山水中。而山水画真正作为独立主角的，是隋代画家展子虔的《游春图》。
隋代 展子虔 游春图
《游春图》表现山水河流，在尺幅不大的画面中营造出壮阔的自然景象。这是最早的山水画，在此之后人物之中的山石、树木的比例开始协调，空间也放大。在山水画空间中，水之浩淼，山水之逢云，人发觉了自然独立的审美意义。经过长时间的演变到了唐代出现了李思训与他的儿子李昭道（大小李将军），他的山水运用勾线、填色，且细部用金描绘，被称为青绿金碧山水。华丽的金碧山水多出现在皇家大块的墙壁上，统治者对自己统治土地向往的愿望通过图画的形式表现出来，那时的山水变成人“可游”的广阔自然环境。
唐 李思训 江帆楼阁图
李思训可以说构架了山水的大框架，是展子虔之后有记录的伟大画家之一，他是代表北方画派的杰出代表。后来董其昌提出了“南北宗”代表南宗的画家是王维，王维几乎没有作品存世，《辋川图》被作为一个文化符号来看待，如今所见的对他的文字图像的传播绝大多数是后人按照他的意思复制而来，这是以水墨为代表的南派山水。
山水画从魏晋到唐代也经历了很长时间的酝酿，人对自然的向往逐渐提升到主要的位置。五代时期，因为战乱文人不愿在朝堂上而躲到山林之中，太行山作为北方山水中的母体，造就了荆浩等北方山水画的代表，荆浩最大的功绩是出了山水立轴样式，表现太行的高大雄伟代表北方山水的崇高感。
五代 荆浩 匡庐图
五代 董源 潇湘图
