孙权也没有把张裔当一回事，张裔在东吴流亡三年，直到蜀汉建兴元年（即公元223年），蜀汉与东吴关系缓和，诸葛亮令邓芝出使东吴，就吩咐邓芝把张裔从孙权手中捞回来。孙权原先忽视张裔，临别之前的一番对话才看出张裔的才干，想要追回张裔，但是张裔已经进入蜀汉境内。
张裔回到蜀汉就进入丞相府，先成为丞相参军，领益州治中从事；后来成为留府长史。从这些职位来看，张裔应该可以说是诸葛亮的左膀右臂。我们看诸葛亮去世后的继承人蒋琬和自以为继承人的杨仪，身份都是丞相长史。在张裔做长史的时候，蒋琬的身份是参军，直到建兴八年（即公元230年），张裔去世后，蒋琬才代替了张裔的位置。
张裔的非议
张裔作为丞相长史，属于蜀汉权力中枢上的重要人物；他与诸葛亮的关系也很亲密，诸葛亮在《与张裔书》中将自己与张裔比作"古之石交"、"举雠以相益，割骨肉以相明"。不过史料中对张裔也有不小的非议。张裔这个人物似乎有些小器，而且不甚公正。
张裔与杨洪是好友，杨洪也是一个比较重要的人物，这里就不详细介绍。张裔被流放到东吴的时候，杨洪做蜀郡太守。张裔的儿子张郁做郡吏，因为一些过错被杨洪责罚，没有被杨洪特殊照顾。因为这样一件事，张裔与杨洪的关系出现裂痕。诸葛亮想用张裔为留府长史，询问杨洪的意见，杨洪回答张裔才能足以胜任但是性情上并不公正，建议诸葛亮以向朗为留府长史，让张裔暂时跟随诸葛亮左右。
杨洪给张裔使绊子，时人或认为杨洪自己觊觎长史的位置，或认为杨洪担心张裔官居要津后针对自己，没有想到张裔身上。后来张裔又与司盐校尉岑述不和，影响到工作，《与张裔书》就是在这样一个背景下，诸葛亮大打感情牌，来调解张裔与岑述的矛盾。张裔与杨洪、岑述都有矛盾，人缘极差，就像魏延在蜀汉一样，问题当然出在张裔身上。杨洪也因此洗脱自己故意贬低张裔的嫌疑。
总而言之，张裔的形象还算是比较鲜明，才干出众，爱憎分明，不算圣贤君子，但也不至于到法正那样睚眦必报的程度，没有涉及到原则性的问题。相反张裔对待刘璋、刘备也算忠心可嘉，在"益州之战"中坚持抵抗诸葛亮、张飞，没有向吴懿、李严、费观、李恢、许靖那样倒戈投降，出使刘备时为刘璋争取生存空间；被流放东吴三年"流徙伏匿"，还是坚持回到蜀汉。还算是留给后人一个正面的历史形象吧。
参考文献：《三国志》、《华阳国志》
