公元755年，杜甫被任命为河西县尉，从这一年开始，到765年他自己请求解除严武幕府中的职务，十年间杜甫断断续续做过好几次官，但每一次时间都很短，总时间加起来不到两年。
我们不仅要问：杜甫为什么当不了官呢？即便好不容易捞到了一个小官，为什么又干不长久呢？这里面固然有政局动荡等原因，但主要原因还是在杜甫自身。说白了，他根本就不是当官的料儿。
首先，杜甫没有做官的能力和基本素养。在这一点上，很多美化杜甫的人爱拿他那“致君尧舜上，再使风俗淳”的诗句来说事，仿佛只要给杜甫一个平台，他就能做出一番伟业。但理想归理想，现实归现实，在做官期间，杜甫并没有做出像样的成绩，反倒是连基本的工作素养都很欠缺。由于性格懒散，杜甫往往不愿做实事，朝廷任命他为河西县尉，按理说这是他造福一方百姓的大好机会，也和他的理想相符合，但他嫌那里离京城远、条件艰苦，拒不上任，而宁愿在京城当一个管仓库的小官。这样不仅可以留在京城，而且工作清闲，有大量的时间和朋友们一起喝酒聊天。后来有人替杜甫辩护，说他不去河西就职，是因为不想当一个鱼肉百姓的官吏，这实在是无稽之谈。在这一点上，杜甫自己倒坦率，他在诗里直言，不去河西就是不想去那里“受罪”。即便是担任了管仓库的官吏，没干几天，他就觉得枯燥乏味了起来，写了一些发牢骚的诗，意思是怎么能做这么无聊的事情呢？所以上任没几天，他就到奉先探亲去了。
在严武幕府工作的那段时间，杜甫也是极其郁闷的，自然，错不在严武，还是在杜甫自身。一直以来，严武都对杜甫非常照顾，杜甫在成都草堂居住时，严武隔三差五就带着酒肉去看他，一方面是怕杜甫寂寞，另一方面也是替他改善生活。严武曾两度在成都做官，第一次是在761年底，严武任成都府尹兼御史大夫、充剑南节度使，但四个月后被召回长安任太子宾客兼御史中大夫；第二次是在764年，严武再到成都任成都府尹兼剑南节度使，杜甫就是在这时去严武幕府中上班的。当然这是严武竭力相劝的结果，他实在不认可杜甫的那种生活方式，觉得杜甫应该出来做点事，挣点钱，养活一家老小。严武大概也没指望杜甫能在工作岗位上干出多少成绩，只是找个机会给他发薪水而已。杜甫一进入到具体的工作状态，他就立马变得十分情绪化，满腹牢骚。他后来辞职的借口是有病，这也是事实，他当时得了风痹，大概就是现在脑血栓之类的病，上班坐久了就半边身子发麻，但这远远不是他坚决请辞的真实原因。
真实的原因大概有两个：其一，他和同事处不好关系，可笑的是他还在诗中把自己说成是暂时不得志的大人物，不与那些小人计较；其二，他觉得在严武手下做事很没面子。过去严武接济他，他是可以接受的，因为是朋友嘛，现在成了上下级，从严武手里领钱，性质就不一样了，这让他的自尊心受到了伤害。有一次，他甚至和严武吵了起来，情急之下，他居然骂严武：你爸怎么生了你这么个儿子！可见他是有些恼羞成怒了。于是，他只有辞职。严武一看没有办法，也就同意了。
其次，杜甫在工作中没有起码的原则。杜甫任左拾遗期间，朝廷发生过一起著名的“房琯事件”。房琯祖上世代为官，他自己在肃宗朝也官至宰相，但他是一个善于慷慨陈词而不务实际的人，不理政务，终日沉醉于谈论佛家的因果和道家的虚无。安史之乱爆发的那年冬天，他率领一支军队与叛军交战，由于不懂军事又固执己见，在咸阳东陈陶一战中全军覆没。肃宗罢了房琯的官，还要治房琯的罪，按理说这处罚是没有错的，但杜甫不这么认为，他是房琯的朋友，很欣赏房琯，觉得房琯是个“醇儒”，现在房琯有难了，他应该挺身而出。于是，他上书为房琯辩护，说房琯“罪小功大”，不应罢免，那些攻击房琯的人都是一些人格卑劣的小人。杜甫这封措辞激烈的谏书，引起了肃宗的愤怒，肃宗下令审讯杜甫，亏得有朋友相救，杜甫才免于一难。就此以后，肃宗一看见杜甫就烦，准了他的探亲假，把他从自己身边打发走了，后来又干脆把他贬到了华州（今陕西华县）。