抗战全面爆发后，日军大举进攻山东，山东人民在中国共产党的领导下，纷纷举起抗日义旗。

为了指导山东抗战工作，1938年8月21日，张经武率领干部及抗大、陕北公学毕业的学员共160余人组成八路军鲁东游击纵队指挥部，从延安出发，向山东前进。

组建八路军山东纵队

1938年12月27日，张经武请示中央，正式组建八路军山东纵队，编成10个支队、3个独立团，共计25个团，24500余人。由张经武任总指挥，黎玉任政委，王彬任参谋长，江华任政治部主任。成立大会上，张经武发表了鼓舞军心的讲话，他说：“山东是齐鲁文化的发源地，富有‘急公好义’、‘大公无私’、‘嫉恶如仇’、反对覇道、救民于倒悬、拯民于水火、三军可夺帅，匹夫不可夺志的优良传统，一旦发扬起来，就能成为一种战无不胜的力量。”

1939年2月，张经武根据朱德、彭德怀的命令，全力以赴投入了山东纵队的整训工作，一手抓思想政治工作，各连建立党支部，定期开展政治教育和文化教学；一手抓军事训练和作风整顿，提高全军的军政素质和组织纪律观念。张经武对全军提出了“主力兵团正规化、地方武装基干化、游击队组织化、自卫团普遍化、党的领导绝对化、战斗力顽强化、行动积极化、生活艰苦化、纪律严肃化”的“九化”要求。

张经武频频下到连队，指导整训工作，传授军事知识和作战方法。他亲自请来在苏联学习过爆破技术的同志主持爆破训练班的训练，并在全纵队进行推广，为以后山东的攻坚战、地道战、地雷战发挥了巨大作用。解放战争中，这支部队的爆破技术还受到毛泽东和朱德的称赞。

反击顽固派

1939年3月，国民党顽固派秦启荣在博山制造了骇人听闻的“太河惨案”。事情的经过是这样的，为了培养抗日军政干部，中共清河区党委派第三支队特务团团长潘建军率领一批军政干部和爱国青年去山东抗日军政干部学校学习。3月30日上午，一行到达离太河镇只有4公里的同古村西门外围墙下，突然遭到国民党秦启荣、王尚志部伏兵包围，除38人冲出重围外，其余210余人牺牲或被俘。

闻此消息，张经武随后主持召开了山东分局和山东纵队联席会议，决定对国民党顽固派的血腥挑衅进行坚决反击。

4月4日，太河战斗打响，第三支队十团直抵太河镇北面的金鸡山下，特务团急驰飞奔，迅速控制了太河镇西南面的豹岩山高地。与此同时，四支队一部进入太河镇，向顽军指挥部发起袭击，秦启荣等人见机不妙，慌忙化装分散潜逃。

4月7日上午，山东纵队三路大军进抵太河镇。张经武连夜审讯俘虏，发现秦启荣、王尚志连夜经峨庄逃往临朐，遂命令各部连夜追击。第三支队特务团、十团在杨国夫副支队长指挥下，分兵两路，连夜向临朐方向追击，随后进抵峨庄，救出了在“太河惨案”中被俘的30多名战友。

张经武认为秦启荣不甘心失败，一定会前来报复，就设下埋伏。秦启荣果然率部前来，结果被张经武布置的伏兵包围，一场激战，秦启荣仅以身免。

“最模范的胜利战斗”

1939年5月底，日军调集2万多兵力，对冀中根据地进行了抗战开始后的首次大扫荡。6月9日，张经武召开了战地动员会，将领导和机关人员分散到各支队，指导反“扫荡”斗争，协助地方开展对敌作战，坚持内线与外线结合，灵活机动地打击敌人。

在张经武的率领下，山东纵队第一、二、四支队进入新泰、蒙阴、泗水之间，依托沂蒙山区和泰山区，采取灵活机动的战略战术，广泛开展游击战。一月之中，山东纵队与敌作战20余次，毙伤日伪军1000余人。

10月26日凌晨，山东纵队第一支队一营驻地临朐县五井镇遭敌袭击，一颗“八二”迫击炮弹落在支队院子里，顷刻房屋颤抖，尘土飞扬。支队副支队长钱钧迅速率一营奔向前沿阵地。就在此时，离镇东300米处的莲花山被日军占领。钱钧随即向张经武报告了敌情。张经武当即命令支队迅速摸清敌情，然后集中兵力围歼日寇，并通知临朐县独立营协同作战。

钱钧接到命令后，派出侦察员，抓了一名伪军。经过审讯，俘虏供述：敌人有日军两个小队和一个伪军大队共400余人，日军进攻镇东门，伪军进攻北门。

钱钧决定首先消灭伪军，于是当即派一营营长李福泽率领一营二连迂回北门，与临朐县独立营双向夹击。伪军大队长在战斗一开始就被击毙，其他伪军顿时作鸟兽散。

此时，东门的日军正遭到一营一连的阻击。日军中队长接到北门伪军失败的消息，开始向莲花山后退。张经武得到军情报告后，命令部队一定要咬住敌人，力争全歼。钱钧立刻集中兵力向莲花山发起总攻。经过激战，日军中队长以下全部被击毙，无一漏网。

战斗结束后，支队缴获轻重机枪5挺、八二迫击炮一门和步枪数十支。山东分局机关报《大众日报》为此发表题为《庆祝临朐大胜利》的社论，称赞五井歼灭战是“山东抗战两年来最模范的胜利战斗”。