后来，家人觉得子孙难得，生怕养不大，于是将4岁的谢灵运送到了杭州钱塘杜先生的学馆中，直到15岁时，谢灵运才回到建康。也就是现在的南京。
18岁那年，父亲早亡，谢灵运承袭了康乐公的爵位，这对本就过着阔绰生活的谢灵运来讲更加开始放纵自己， 每天虽说不是花天酒地，但也是游娱宴集，以夜续昼。他每次出门上车下车，前前后后总是会有许多仆从。
这时候的谢灵运在生活上过着奢侈的生活，在精神上及其放任自由，这是他一生中最为潇洒的时光。在这期间，他拒绝了朝廷授予的官职，一方面是因为自己放纵的生活还没过够，另一方面，是因为他不想只是做一个普通的官二代，他有着自己的政治抱负。
初踏仕途
公元402年，荆、江八州都督桓玄叛乱，攻入南京，逼迫安帝禅位，刘裕、刘毅率兵讨伐，南京局势暂时稳定下来。此诗，谢家子弟开始纷纷入仕，谢灵运出任琅琊王大司马行参军，这时，他21岁。
步入仕途的谢灵运认为自己有“宜参权要”的才能，力图为官，想要重振门庭，因为彼时的谢家已近开始没落。
但是，经过“桓玄之变”之后，真正拥有军队实权的已经不是世家大族而是以刘裕为代表的以军功起家的寒族将领。
刘裕本来只是当年谢玄统领北府兵时的一个下级军官，但是经历过“桓玄之变”之后，刘裕已经成为了当时的国之重臣，之后，刘裕与刘毅争权，而谢灵运和谢混选择站在刘毅一边，因为他们打心眼里不认可刘裕，或者说瞧不起刘裕，毕竟当年刘裕只是他祖父下的一个小军官。
但是，刘裕最终成功了，一举诛杀谢浑等人，而谢灵运则被收编，免于一死，充任太尉参军一职，毕竟谢家虽说没落但仍是一个大家族，刘裕还是要给几分面子的。就这样，谢灵运在政治上的第一次站队就站错了位置。
这时候保住一条小命的谢灵运面对着曾经家族的下属，如今却要却要卑躬屈膝，心中愤懑不平。而刘裕也不喜欢谢灵运，于是便把他罢官了。
公元420年，东晋王朝覆灭，刘裕登上帝位，刘宋王朝建立。
刘裕上台后，便给了谢灵运一个下马威，将谢灵运承袭的封号由爵降为了候，而谢灵运则写下了《谢封康乐候表》，名为谢恩，实为泄愤。
两年后，宋武帝刘裕去世，少帝刘义符继位，而这时候谢灵运被当朝权臣罗织罪名，以“构扇异同，非毁朝政”为由将谢灵运排挤出京城，降为永嘉太守。
被贬永嘉
被贬的谢灵运远离了政治中心的旋涡，这对他来讲，既是幸运的又是不幸的。
不幸的是他的政治命运由此转入晦暗，幸运的是他的诗歌艺术得以绽放光彩。
谢灵运在离开南京时写下了《邻里相送至方山》
祗役出皇邑，相期憩瓯越。解缆及流潮，怀旧不能发。
析析就衰林，皎皎明秋月。含情易为盈，遇物难可歇。
积疴谢生虑，寡欲罕所阙。资此永幽栖，岂伊年岁别。
各勉日新志，音尘慰寂蔑。
此诗表现了谢灵运对朋友的告别，又流露了对于自己政治处境的不满，他甚至是想永远在永嘉隐居下去，而不去做什么一年半载的官。由此可见此时谢灵运内心的失望。
在前往永嘉赴职的路上，谢灵运萌生了回老家浙江始宁看看的想法，于是他中途回到阔别23年的家乡，嘉兴的青山绿水多少排解舒缓了谢灵运的郁闷之情，在家乡，诗人写下了《过始宁墅》一篇。
岩峭岭稠叠，洲萦渚连绵。
白云抱幽石，绿筱媚清涟。
这首诗意境开阔，被后人认为这首诗是中国山水诗形成的发轫之作。
遡流触惊急。临圻阻参错。
亮乏伯昏分。险过吕梁壑。
诗人在途中又写下《富春渚》，借山水之势写出对人世艰危的感慨以及抒发自己郁闷之情。
谢灵运上任不久便大病一场，病好后，已是第二年春天。谢灵运大病初愈无法到很远的地方游玩只能在附近的地方看看，日出下的远山近水，使得谢灵运灵感爆发，写下了《登池上楼》一诗。其中“池塘生春草，园柳变鸣禽。”一联成为千古绝唱。李白诗云，“梦得池塘生春草，使我长价登楼诗。”元好问则赞“ 池塘春草谢家春，万古千秋五字新。 ”足见此诗影响之大。
《登江中孤屿》也是这时期所写，
