张全义在历史上的名声并不是很好，甚至是一个屈辱的代名词，后梁开国皇帝朱温曾在张全义家避暑的时候，将张家的女眷全部召去侍寝，包括张全义的继室、儿媳和女儿等等，而张全义不紧要忍下这个屈辱还阻止自己的儿子去刺杀朱温。到了后唐时期，张全义又和后唐庄宗的刘皇后攀上关系，被认作义父。但同时，张全义对于洛阳又是有功的，在战乱年代，他能迅速恢复洛阳百姓的正常生活，就这一点来说，他是值得被人称道的。
张全义原名是张居言，也算是在黄巢起义中起来的，在此之前，他在县里做小吏，没少被县令侮辱。黄巢起义爆发，张居言索性就不在县里干了，投奔了黄巢，然后得到了重用，成了伪齐政权的吏部尚书和充水运使。黄巢起义被平定后，张居言又投靠了河阳节度使诸葛爽为唐廷效力。被举荐为泽州刺史的张居言得唐昭宗赐名为张全义。
诸葛爽去世之后，其子诸葛仲方成为留后，但因为年幼政权不稳，原诸葛爽的部将李罕之和刘经争夺地盘，张全义也加入其中，并和李罕之在李克用的帮助下最终战胜刘经，之后李罕之成为河阳节度使，而张全义为河南尹，开始正是治理洛阳，当时约为886年的冬天，从那时开始一直到张全义去世，长达四十年的时间里，他基本都是主政洛阳。
而在他最初接手的时候，洛阳实际上已经算是废城，战乱时久，满目疮痍，百姓都逃得无影无踪了。这样的一个地方，按照正常速度来看，想要恢复到以前是很困难的，况且战争一直都在，并不曾真的已经过去。不过张全义却有办法在最短的时间内让洛阳重新富裕起来。
他当时手底下不过百余人，先是选出18人来做屯将，到附近的18个县设点招抚逃亡的百姓，让他们回到洛阳恢复生产；另外18人担任屯副，安抚回来的民众，除杀人偿命之外，一切罪行都可以从轻发落，不会给予重刑，更不会收租税，再18人为屯判官。很快，很多百姓都回到洛阳，开始从事正常的农事活动。
张全义自己就很勤俭，在他的带领下，洛阳很快就恢复了生产，只要有大丰收的农家，他就亲自去给予奖赏，如果遇到荒芜的田地，他也会派人去探查原因，找到原因对症下药，他还要求百姓邻里互助。因此，不过几年的时间，洛阳家家户户有蓄积，即便遇到凶年也不会忍饥挨饿。
当然，在农闲的时候，他还组织手下从百姓中挑选强壮的练兵，一旦遇到战争也不会害怕。888年，张全义和李罕之的同盟关系被打破，原因就是李罕之治理河阳的时候不善于经营，他自己本身是看不起天天教民耕织的张全义的，甚至将张全义比作田舍翁，对人说出“田舍翁何足惮。”这样的话，但是打仗的时候他又总是找张全义借粮食，一次两次，张全义忍了，都借给了李罕之，时间长了，张全义就不干了，于是趁着李罕之外出打仗的时候袭击了河阳，自己做了河阳节度使。李罕之再次寻找李克用的帮助，将张全义围困起来，最困难的时候，张全义和他的部下“啖木屑以度朝夕”，在这样的情况下，张全义寻找朱温的支援，终于解围。
从此张全义对朱温尽忠，成为朱温身边的红人，位极人臣，封王，食邑万户以上，但是代价也不是没有。张全义勤俭又善于聚财，因此家中极其富裕，朱温晚年的时候听说张全义家中是一个避暑的好去处，于是驾临张全义家，果然神清气爽，然后顺便将朱温家的女眷都临幸了个遍。张全义的继室、儿媳、女儿都没有幸免，即便如此，张全义也不敢怎样，并且在得知儿子将要去刺杀朱温的时候阻止了他，原因是朱温对他有大恩。
朱温死后，后梁内乱不止，最终朱友贞成为后梁的最后一位皇帝，也是在这一时期，晋王李存勖对后梁的战事逐渐变得激烈起来，而张全义在朱友贞那里眼看得不到信任，于是暗地里开始和李存勖往来，并第一时间公开效忠于后唐，自然又得到了李存勖的信任和重用。为了保住张家的权势，张全义和李存勖的刘皇后取得了联系。刘皇后此人是一个典型的爱财如命的人，因此对于张全义的厚赂自然是笑纳，并和张全义结成同盟，拜其为义父。