后来，王耀武由俞济时举荐，升任七十四军军长。王耀武将师、旅、团三级制改为师、团两级制，每师辖三个团（原为每旅辖两个团）。军部直属队扩大了，成立了特务营、通讯营、工兵营、输送营及野战医院。师部直属队也扩大了，建立了迫击炮营、工兵营、辎重营、特务连及野战医院。同时，王耀武还大量吸收中央军校毕业生，提高军官素质。经过他的一番打造，七十四军的战斗力明显提高，在许多次战役中表现不俗。特别是1941年3月进行的上高战役，与日军激战了13天，歼敌一个联队，日军狼狈溃退，上高转危为安。蒋介石得报大喜，下令褒奖。部队编制扩大，军直属队扩编炮兵、工兵、辎重各一个团，战防炮、高射炮各一个营和搜索营，各师、团创办了军士队，培训各兵种的正、副班长。七十四军的战斗力大为提高。

五十八师在1941年9月的第二次长沙会战中损失惨重。战后，师长廖龄奇被蒋介石下令枪决。廖龄奇死后，五十八师副师长张灵甫升任师长。1943年5月，七十四军奉命参加鄂西会战。王耀武兼任第五集团军副总司令后，五十一师师长李天霞升任七十四军副军长。

在1943年11月进行的常德保卫战中，七十四军五十七师与日军三个师团苦战19天，伤亡惨重，仅剩300余人。战后，蒋介石下令奖励荣誉锦旗，并于1944年初将该军装备换为美械装备。3月，七十四军改属第二十四集团军，王耀武升任该集团军总司令，施中诚任七十四军军长。

当时，抗日战争处于相持阶段。七十四军作为攻击军，并未主动出击，常常一休整就是半年，只是日军来打时才应战。1944年6月，日军大举进犯长沙，七十四军奉命在湘江两岸宁乡一线设防。后来日军主力南下，占领湘阴，围攻衡阳，七十四军南下增援，中途受阻。衡阳守将方先觉被俘，衡阳陷落，七十四军转至邵阳一带。不久日军攻占邵阳，七十四军再次转移。

这期间，二十四集团军改编为第四方面军，王耀武升任方面军司令，施中诚仍是七十四军军长，张灵甫升任副军长。

1945年4月，日军分三路进攻湘西芷江。七十四军在雪峰山、江口、龙潭一带与敌血战一个多月，歼灭日军一个旅团，敌仓皇溃退，七十四军声威大震。王耀武、张灵甫等成了取得湘西大捷的抗日名将。敌方在广播中承认七十四军是国民党军队中战斗力最强的，而国民党则将七十四军称为“王牌军”“精锐中的精锐”“甲等美械师的建军模范”“五大主力”之一。

1945年8月日军投降后，七十四军五十七师配属新六军空运南京受降。当时驻南京日军一个师团曾是湘西之战中七十四军的手下败将。10月，七十四军的另两个师调至南京，全军负责首都警备任务。1946年6月，国民党军实行整编，张灵甫由七十四军副军长升任整编第七十四师师长。