不过张廷玉的命运真实太差了，乾隆十五年(1750)，合理张廷玉拾掇行李，预备起程回乡时，乾隆的皇长子定亲王永璜不幸逝世，没办法，从前做过皇长子师傅的张廷玉只能留下来参与丧礼。非常困难熬到初祭完毕，张廷玉归乡心切，上奏向乾隆辞程，照理来说，张廷玉现已把该做本分都做了。
没想到这次又撞到乾隆的枪口之上，皇长子由于在孝贤皇后丧礼上体现得不行悲伤，被乾隆严峻叱骂，为此皇长子整天寡欢，没三年就病死了。
合理乾隆由于自己的过错痛失长子时，收到张廷玉的辞程，乾隆气不打一处来，当即给张廷玉发去太庙配享的名单，让他自己点评自己是否有资历配享太庙。张廷玉收到乾隆发来的质问上谕，立马上书回奏道：······臣既无开疆汗马之力，复无经国赞襄之益······敢恳明示廷臣，罢臣配享，并治臣罪······终究乾隆依据大臣参议的成果，撤销张廷玉配享资历，可是仍是保存大学士称谓。
张廷玉致仕回乡后，深居简出，尽管失掉了配享太庙的资历，以及伯爵爵位，可是至少还保存性命。五年后，乾隆二十年(1755)，张廷玉逝世，享年八十三岁。音讯传到京城，乾隆终究仍是遵从父皇的遗命：准许配享太庙，赐祭葬，谥文和。
雍正干事比较激动急噪，张廷玉刚好相反就事慎重，有耐性，两个人同事刚好能够互补，联系非常和谐。在雍正看来，张廷玉才能杰出，品格高尚，忠心耿耿，彻底配得上配享太庙。
可是到乾隆这儿就不相同了，乾隆天资聪颖，他眼里张廷玉外表精明能干，实践处事油滑，手法高超，心计颇深。张廷玉和他是同一类人，这对乾隆来说是要挟。
所以乾隆以为张廷玉是没有资历配享太庙的，终究容许其配享太庙，也仅仅遵从先皇遗命算了。关于一向标榜自己为“大孝子”乾隆，不会傻到作出“忤逆先皇”的行为。
不论乾隆是诚心仍是假意，重复折腾二十年后，太庙那块严寒的肉终究仍是摆到了张廷玉的嘴边。
