张全义，出身十分贫苦，祖辈都是老实憨厚的农民。张全义长大以后，为了生存，便到当地县衙里当了仆役，曾多次遭到县令的欺压和污辱。因此，当王仙芝的起义军到达张全义的老家濮州一带时，他就积极参加了王仙芝的军队，王仙芝失败后，他又加入黄巢的起义大军，在军中，张全义作战英勇，又精明能干，迅速得到提升，在黄巢起义军攻占长安后，他被任命为大齐农民政权的吏部尚书兼水运使。在当时，吏部尚书主管政府的官吏考核与任免，权力大，职位也十分重要；而水运使更是担负着为长安百万义军从水陆筹集粮食的重任。从这两个职务可以看出，张全义在黄巢起义军中所占的重要位置。
不久，黄巢起义大军在唐朝军队和唐朝借助的外族军队的联合镇压下失败，张全义也像许多农民起义军将领一样，投降了唐朝。当时，张全义见河阳节度使诸葛爽较有势力，便投靠了他，诸葛爽屡次派他剿杀起义军残部和袭击其它军阀，张全义都很卖力，立了许多战功。在诸葛爽的推荐保举下，张全义被任命为泽州刺史。不久，诸葛爽病死，其部下李罕之与刘经相互仇杀，都希望能占领洛阳。当时，张全义是刘经的部下，刘经认为张全义既可靠，又有作战经验，就派他去抵抗凶悍的李罕之。张全义带着刘经给他的兵马来到前线，发现李罕之的势力很大，而且战斗力很强，不仅自己，就是刘经亲来也无法抵敌。在分析具体情况后，张全义就投靠了李罕之，反过来与刘经为敌，刘经见张全义背叛了自己，只得向诸葛爽的儿子诸葛仲求援。
在诸葛仲的支持下，刘经打败了李罕之。李罕之见刘经求救于人，也不甘示弱，就向镇压农民起义军起家的大军阀李克用求救。得到李克用的帮助后，李又反败为胜，占领了许多地方。这样，张全义又被李罕之推荐为河南尹。
这河南尹的官职比泽州刺史的官职大了些，但却很不好当，李罕之是个只懂得杀人剽掠，征战杀伐的军阀，根本就不懂得安顿流民，组织生产，总是接二连三地向张全义催逼军需物品。当时民生凋敝，饿莩遍地，军粮极难筹集，尽管张全义尽力供应，还是无法满足李罕之的要求，加之李罕之性格暴躁，稍不如意，就对送粮官员大张挞伐，弄得无人敢去送粮。在这种情况下，许多部下都劝张全义脱离李罕之或是干脆反叛，可张全义总是好言劝慰，不露声色。
张全义自己也深深地知道，长此以往，自己必然会与李罕之闹翻，必须及早打算，于是他一面表面上顺从李罕之，在军需方面尽量满足他的要求，使李罕之不起疑心；另一方面，他也积极准备，窥伺时机。唐信宗文德元年（八八八年），李罕之再起战端，率兵攻打晋、泽二州，张全义见时机来临，就带领本部兵马不费吹灰之力占领了李罕之的河阳，自封为河阳节度使。李罕之闻讯大怒，立刻向李克用求援，李克用也马上派兵帮助李罕之去收复河阳。在未占领河阳之前，张全义就已做好了准备，同军阀朱温联系，求他帮助，朱温正扩展势力，便欣然接纳，派兵帮他守住河阳。当李克用的军队来到时，朱温的援军已严阵以待，李克用的军队只好撤走。朱温帮了张全义的大忙，从此，张全义就投在了朱温的门下，朱温对这个投靠过来的张全义并不放心，不敢给他兵权，深怕他在什么时候反过来咬自己一口。于是给了他一个没有实际兵权的检校司空的军衔，并仍让他作河南尹，去河南一带组织生产。
在张全义任河南尹的时候，朱温的势力越来越大，最后终于发展到代唐自立，朱温用武力把唐昭宗挟持到洛阳，做好充分的准备，想废掉唐朝，建立朱氏后梁政权。但洛阳地区是张全义的势力范围，他在这一带的威信较高，朱温生怕张全义反对他篡唐自立，就事先撤掉了他的河南尹的职务，把他封为东平王：给他换了一个中书令的虚衔。
张全义已是官场老手，他深深地知道，朱温仍然不相信他。这时候唯一的办法，是在朱温自立为皇帝的时候替他出力，这样才能表示出自己的忠心，取得朱温的信任。于是，张全义替朱温出谋划策，把河南一带的财力都集中给了朱温，让他自由调度使用。这么一来，朱温真地相信张全义了，再加上张全义一再上表辞谢，说自己不配封王，无力担任中书令职务，弄得朱温都有些感动。朱温当了皇帝后，对张全义加官进爵，封他为魏王，让他重任河南尹。
五代时期的确是中国历史上最无耻的时期，不仅出了像石敬瑭这样的儿皇帝，皇帝的生活也极其无耻，朱温就是其一。这位后梁皇帝，到了谁家，看见谁家的妻女有些姿色，就硬让人家陪宿，居然还不以为耻。春秋时期已经够乱的了，齐庄公与大臣崔抒的老婆相好，还被崔抒领兵杀死，时人以为罪有应得，可朱温公然在臣子家里让人家的妻女陪睡，竟像没事一般。作为大臣，张全义也碰上了。这位叱咤风云的将领是什么态度呢？
一次，朱温到了张全义家里，一住就是数大，朱温竟要张全义的妻子、女儿、儿媳轮流陪睡觉，张全义的儿子愤恨不过，磨刀霍霍发誓要杀死朱温。可张全义不同意，他极力劝阻儿子，并说：朱温曾救过我的命，他要怎样就让他怎样吧！其实，张全义恐怕不是为了报恩，欲图报恩，可用别的方式，何必如此呢？其目的还是保住官位。人能委曲求全至此，也可谓有涵养了！
在朱温晚年，最大的对手就是李克用了，这两派军阀之间征战不休，因此，朱温对手握兵权者很不放心，对一批曾与李克用有过关系的人也不放心，张全义就是他要杀掉的目标之一。张全义采取的自救措施还是献忠心，把洛阳的财力以及自己的家财全都拿出来，支持朱温对李克用的战争，这才使朱温稍稍气平。后来，张全义又派自己的妻子去宫中为自己说情，这才打动了朱温，朱温让自己的儿子娶了张全义的女儿做媳妇，表示对他的信任和好感。
经过反覆的战争，李克用的儿子李存勋终于打败了后梁，于九二三年建立了后唐政权。李存勖早就知道张全义多年替朱温操办军需品，十分恼恨，想把他全家杀掉。张全义也知道自己的处境非常危险，早就做好了准备。张全义准备了上千匹好马，送给李存勋的刘皇后，请她帮忙说话，自己又上表请罪，乞求哀怜，并表示愿替他治理洛阳，李存勖觉得他还有用，就赦免了他。后来，张全义又不失时机地表示自己的忠心，李存勖的许多活动的必需品都由他圆满地置办起来，弄得李存勋十分高兴。他这种善于体贴巴结的做法竟然打动了刘皇后，要拜他为义父。就这样，李存勖仍让张全义做了河南尹，还任他为中书令，封为齐王，又做了李存勖的岳父，张全义又在新朝站稳了脚根。
后唐庄宗李存勖荒淫无耻，且不善治国，只知重用武夫和名门士族出身的人，不知重用文人和有才能的庶族出身的人，因而很快衰败下去。在李存勖的晚年，他的养子李嗣源的势力逐渐变得很大，大有取代李存勖之势。恰在这时，赵在礼于魏州发动叛乱，张全义为了巴结李嗣源，就极力推荐他去平定魏州之乱。张全义的用意是很明确的，李嗣源一旦领兵出征，就会得到两条好处，一是树立威信；二是手握重兵，对将来篡夺帝位是很有利的，如果李嗣源真的当了皇帝。自己岂不又成了新朝的大功臣。但没有想到李嗣源到了魏州，并非与赵在礼打仗，而是与之联手，共同进攻李存勋，这一下可把这个推荐人吓坏了。张全义恐怕李存勋杀掉他，日夜忧惧，连饭也吃不下去。没过几天就病饿而死。就在这时，李存勖也被部下杀死了。