在车骑大将军王音的推荐下，扬雄做了汉成帝的文学侍从待诏，后又做了黄门侍郎，在这个位置上，皇帝都换了三个，他却一直未动，这固然与他怀才不遇有关，但更多的是因为他的孤傲和不同流合污。所以他依然贫穷。为此，他还以戏谑的手法写了篇《逐贫赋》：
扬子遁居，离俗独处。左邻崇山，右接旷野，邻垣乞儿，终贫且窭。礼薄义弊，相与群聚，惆怅失志，呼贫与语：“汝在六极，投弃荒遐。好为庸卒，刑戮相加。……
我行尔动，我静尔休。岂无他人，从我何求？今汝去矣，勿复久留！……
余乃避席，辞谢不直：“请不贰过，闻义则服。长与汝居，终无厌极。”贫遂不去，与我游息。
这篇寓言赋，通篇用“扬子”和“贫”主客对答的形式，前一部分写主人怒斥贫穷，要远离自己，展现出“外我”的形象，后一部分以“贫穷”的反驳，曲尽其情，说明“你”不贪财，不阿谀，不奉迎，何以高升致富？寄托了作者“内我”的精神世界。
全赋构思奇特，庄谐相生，情节结构完整，人物个性突出，寓意隽永而耐人寻味，对后世产生了深远影响。
或许是看到了文学的功用有限，或许是厌倦了官海浮沉，也或许，是他看到了书生的百无一用，便想让自己躲藏于浩瀚的书籍中，以离俗独处。晚年，正当盛名的辞赋大家扬雄，思想发生了转变，他对华美之中藏着讥讽和劝诫之意却于事无补的赋文，转变了态度，甚至持有了否定的态度。
他认为赋文不过是青年时期的“雕虫小技”，不易“壮夫所为”。于是渐至晚年的他，将主要的精力和研究的方向，转向了著书和黄老道学——玄学。
04
天禄阁是皇家图书馆，清静之地，四壁皆书，远离朝堂，隐于此职的扬雄，利用自己供职此位之便，潜心著书，研究玄学。
“干一行，爱一行，爱一行，精一行”，扬雄就是如此之人。煌煌巨著《蜀王本纪》是研究古西蜀历史和地域文化的难得巨著。历时27年才写成的《方言》一书，不仅集全国各地语言于一书，还使作者本人成了语言大师。《太玄》更是充满哲理思辨的意味，为他博得了“西道孔子”之名。
天禄阁，成就了扬雄立言于后世的煌煌世著的地方，也见证了他的失意苦闷，灰心绝望。王莽篡权改汉后，受“符命”事件的牵连，看到捕役来抓人的扬雄，不愿就擒受辱，选择从天禄阁跳楼自杀，却被救活。
“扬雄投阁”从此成为典故，比喻文人无端受牵连坐罪，走投无路之下的选择。
晚年的扬雄嗜酒如命，以致常有人用车拉着酒来向他请教文字。“载酒问字”就是如此来的。当然，因为酒的催化作用，他也写了不少文章。他曾做《酒箴》以传后世：
子犹瓶矣，观瓶之居，居井之眉。处高临深，动而近危。酒醪不入口，臧水满怀。不得左右，牵于纆徽。一旦叀礙，为瓽所轠。身提黄泉，骨肉为泥。自用如此，不如鸱夷。
鸱夷滑稽，腹大如壶。尽日盛酒，人复借酤。常为国器，讬于属车。出入两宫，经营公家。由是言之，酒何过乎？
扬雄这篇状物小赋，描述的是两种盛器的命运，水瓶质朴有用，反而易招损害，酒壶昏昏沉沉，倒能自得其乐。反话正说，语近旨远，良苦用心，为的是劝诫世人，莫为酒惑，应“近君子而远小人”。
晚年的扬雄，无妻，无子，孤苦无依，幸亏有学生侯芭陪伴照料，他才得以安享人生最后一段时光。
05
公元18年，贫穷而清高，才华出众，不汲汲于富贵，不戚戚于名利的西汉大儒，落下了他人生的大幕。生前贫困潦倒，死后却闻名于世的扬雄，受到了唐朝许多诗人的追捧。
陈子昂去世后，杜甫对吟出“前无古人，后无来者”的他，推崇万分，写诗赞颂陈子昂：“公生扬马后，名与日月悬。”
杜甫对自己的才华更是自信满满：“赋料扬雄敌，诗看子建亲”——我的才华，跟扬雄，曹植一样呢。
孟浩然抒发自己怀才不遇的牢骚也拿扬雄说事，“相聚无知己，朝端乏亲故。谁能为扬雄？一荐甘泉赋。”——我空有扬雄一样的才华，可惜没人推荐！
