教书是很苦的。清贫，寂寞，看不到希望。跟贺知章同时期有个老师，名叫薛令之，专门教太子李亨的，日子过得冷淡清寂，伙食很差还吃不饱。薛老师自我感觉很不好，于是发了几句牢骚写在墙上：朝日上团团，照见先生盘。盘中何所有，苜蓿上栏杆。饭涩匙难绾，羹稀箸多宽。只可谋朝夕，何由度岁寒（每天太阳升起来照在我空空如也的盘子里，饿的我只有数院子里的苜蓿一天天爬上栏杆。饭也不好吃，汤也咽不下。只能勉强糊口，不能长久发展）。
李隆基有一天百忙之中抽出时间关心太子学业，看到此诗大怒，续了几句：啄木嘴距长，凤凰毛羽短。若嫌松桂寒，任逐桑榆暖（啄木鸟嘴尖毛长，凤凰鸟嘴钝毛短。要是嫌我这里待遇不好，您老赶紧另谋高就，我庙小养不起大神）。薛老师一看，这个书教不成了，只好请病假，辞职回老家。唐肃宗（即太子）即位后，派人去请薛老师回来享几天福，不想已经病逝。
陪太子读书尚且如此，教其他学生可想而知。贺知章在庙堂中看不到希望，“忍看朋辈成新贵”，从小一起读书学习的早就混成宰相了，自己还是个穷教书的，人与人的差距就这么大，只好去江湖找知音，每天跟一帮市井之徒喝酒吹牛，杜甫说他“知章骑马似乘船，眼花落井水底眠”。骑马就像乘船，整日晃晃悠悠，喝醉了摔倒在井里，竟然睡着了。一起喝酒有个叫焦遂的，“饮酒五斗方卓然，高谈雄辩惊四筵”。贺知章还给自己起了个外号，叫作“四明狂客”。四明就是他的老家四明山。
“狂”字出自《论语·子路》：“子曰，不得中行而与之，必也狂狷乎！狂者进取，狷者有所不为也。” 意思是说，一个人靠走正道不出成绩，便只能走偏门，以狂狷之态引人注意。狂是放肆无忌，狷是退隐自高。孔老师不愧为老师的鼻祖，可谓一语中的。狂者犹如喜欢捣乱的孩子，总希望用不同寻常的举动引起老师注意。狷者犹如埋头苦学的孩子，总希望考个好成绩一鸣惊人。
贺知章教书期间，作《望人家桃李花》以明志：山源夜雨渡仙家，朝发东园桃李花。桃花红兮李花白，照灼城隅复南陌。南陌青楼十二重，春风桃李为谁容。弃置千金轻不顾，踟蹰五马谢相逢。徒言南国容华晚，遂叹西家飘落远。的皪长奉明光殿，氛氲半入披香苑。苑中珍木元自奇，黄金作叶白银枝。千年万年不凋落，还将桃李更相宜。桃李从来露井傍，成蹊结影矜艳阳。莫道春花不可树，会持仙实荐君王。
桃李不言，下自成蹊。我给国家培养了那么多人才，君王为啥还不提拔我啊。看我看我看看我。
开元十二年（724年），贺知章时来运转。
这一年，李隆基决定上泰山封禅，让张说组个班子草拟封禅礼仪，对不合时宜的旧仪加以改正。张说组的班子便是丽正书院修书这帮人。贺知章是太常博士，搞祭祀是他的本行，所以好多具体礼仪都需要他来提供建议。由于天上有五方五帝（中央天帝黄帝，东方天帝青帝，南方天帝赤帝，西方天帝白帝，北方天帝黑帝），李隆基只想拜一个，就问贺知章咋整。贺知章说，天上只有一个老大，便是昊天上帝（即中央黄帝），至于其他四帝，都是昊天上帝的臣属。虽然帝号相同，可是君臣异位。所以只有您上山祭拜昊天上帝就行，群臣在山下祭拜其他四帝就可以了。
李隆基一听大喜，老贺你算是说到我心坎上了，我也是这么想的，所以才问问你。
开元十三年（725年），李隆基将丽正书院改为集贤殿书院，年近耳顺（六十岁）的贺知章被任命为礼部侍郎兼集贤院学士，双喜临门。宰相源乾曜问同为集贤院学士并且主持集贤院日常工作的张说，贺公一下弄了两个官，足为光宠，但是我想知道学士和侍郎哪个更好一点？张说道，侍郎是干具体工作的，学士是传先王之道的，各有千秋吧。
当年三月，贺知章春风得意，出外游玩，见绿柳成荫，遂兴笔作诗：碧玉妆成一树高，万条垂下绿丝绦。不知细叶谁裁出，二月春风似剪刀。
