全国抗战爆发前夕，叶挺与脱离了多年的中共取得了联系，并热切关注抗日事业。在沪参加国共谈判的周恩来会见了叶挺，希望叶能参加南方红军游击队的改编工作，并示意他可以通过陈诚等人争取蒋介石的同意。周恩来走后，叶挺找到正在上海指挥作战的第三战区前敌总指挥陈诚，表达了他抗日的愿望。陈诚同意出面向蒋介石举荐，蒋介石同意叶挺改编红军南方游击队的提议。1937年9月28日，由国民政府军事委员会铨叙厅宣布“经委员长核定”“任命叶挺为新编第四军军长”。

　蒋介石任命叶挺为新四军军长，心中自有一套主意。他考虑到叶挺已脱离中共多年，精于用兵，能征善战，任命他当军长可以把这支军队改造成国民党军队，或可将其派往前线，假手日寇将其消灭。

　中共中央在延安获悉叶挺已被任命为新四军军长后，致电邀请叶挺到延安商洽有关改编的具体事宜。叶挺来到延安，毛泽东亲自主持了气氛热烈的欢迎大会，并在会上正式宣布了叶挺担任新四军军长，项英任副军长。

　叶挺带着中共中央关于改编南方红军游击队的组建方案离开延安回到南京。11月21日，蒋介石在官邸召见了他。叶挺陈述了中共关于新四军拟编两师、四旅、八团，及拟定的各师、旅、团的首长的名单。

　蒋介石面无表情地说:你是我们政府正式任命的军长，这点你应当明白，不能按照八路军的办法组建这支部队。蒋介石指着名单说:“他们都是共产党员，你叶挺不是共产党，将来你会有生命危险的。”

　叶挺对蒋介石在民族危亡时刻，仍不忘玩弄拉拢挑拨的伎俩感到十分反感，就直截了当地向蒋介石提出新四军经费需要18万元的问题，不料竟遭到蒋介石一口拒绝。叶挺此时再也按捺不住了，愤然表示:“没有军费，无法改编部队，我当不了这个军长，请准予辞职”。

　蒋介石看到叶挺态度强硬，转而软了下来，说一些具体事情可找陈诚商量解决。他心里明白，除了叶挺以外，很难找到一个令自己满意，又能让共产党接受的合适人选。

　党中央对叶、项能否团结共事非常重视。毛泽东曾几次致电嘱咐项英:“对新四军的政治领导不能改变，但应尊重叶挺的地位和作用”，“军事指挥叫叶挺来办”，“请始终保持与叶挺同志的良好关系”。

　但是，项英却未能按照中央的指示处理好与叶挺的关系。在生活中，由于两人不同的出身和经历，必然存在一些不同的作风和习惯。如叶挺经常让他的厨师烹制一些家乡菜，邀请项英等军部领导同志及追随他来新四军的老袍泽们一起聚餐。叶挺还酷爱摄影，闲暇时，常挎上照相机拍摄驻地周围的风光。在国内外人士来访时，他也总爱拍些照片以作纪念。对于叶挺的这些爱好和习惯，项英认为这有悖于他所提倡的“艰苦奋斗”的作风，所以在叶挺那里聚过两次餐后，他就再也没有去过，并提醒军部其他人也尽量少去。军部里的人就渐渐和叶挺疏远了。

　叶挺是以党外人士身份出任新四军军长的，而当时党在新四军中实行的是党委负责制，各项工作均由党的组织系统贯彻执行。因而，在工作上，叶挺虽身为军长，但由于他不是党员，不能参加一些重要会议和阅读党中央的指示电报，就连军长职内的事情，项英也不放手让叶挺去做。1938年6月初，叶挺借到武汉申请调拨军费的机会，来到中共中央长江局，向周恩来、叶剑英两位老战友倾诉了他有职无权受冷遇的苦衷，希望成立一个共同议事的新四军委员会，以改善他目前的工作处境。中央很快于9日同意了此项建议，并电告了在皖南的项英。但这个委员会并未真正建立起来，因而叶挺欲改善处境的愿望也就此落空，遂致电中共中央长江局，提出辞职请求。1938年10月负气出走，回到家乡广东。

　叶挺出走也震动了中共中央。中央通过粤东南特委转告叶挺，他在华中比在华南的作用更大，且此举势必影响国共合作的统战关系。叶挺经过再三考虑表示愿意顾全大局，取消原意，但由于与项英难以合作相处的顾虑，对重回皖南军部表示消极。

　叶挺经深圳来到了陪都重庆，周恩来找到他，与他彻夜促膝长谈，动之以情，晓之以大义，终于将叶挺说服。1939年2月23日，在周恩来的亲自陪同下，叶挺回到了皖南新四军军部。但周恩来走后，项英在与叶挺共事中，仍出现了严重的分歧。

　在部队建设方面，叶挺一贯提倡加强我军正规化建设，以提高战斗力。但项英却不以为然，他担心叶挺会把我军应该保持的“优良传统”一起反掉了。在战略方针上，叶挺非常赞成党中央决定新四军“向北发展，向南巩固”的战略方针。当时，南边是国民党第三战区30万部队的驻地，新四军向南活动，反而会增加同国民党军队的摩擦。向东发展则可直接威胁日伪统治重心。东进之后，再向北发展，将使我苏北、苏南、皖东各部队汇合起来，壮大华中抗日力量。项英却对中央的这一方针犹豫不定，对于叶挺组织部队挺进皖东的各种努力，他表现得忧心忡忡。同时，国民党的防共、溶共、限共、反共的政策，已使叶挺在国共两党之间调解的作用越来越小，他深感有愧初衷，无能为力。

　1939年9月上旬，叶挺离开新四军军部来到重庆。11月间，蒋介石召见了叶挺，他埋怨叶挺:“你是本党任命的军长，但是你却没有很好地起到领导作用。光知道为人家要钱要枪要编制，你令我很失望。”沉默了片刻，又说:“如果你愿意参加国民党，一切问题都好解决。”叶挺当即回绝:“我现在什么党也不参加，只想参加抗日救国”。

　蒋介石看到叶挺已不可能完成他的企图，于是爽快地表示:“你离开也好，有比新四军更有意义的工作去给你做”。叶挺担心蒋介石真的会派给他一个差事，连忙告假要回乡为因公殉职的弟弟叶辅平办理丧事。获准后，他回到澳门家中。但是，他人在家中，心却系着面临困境的新四军，家中的事情料理完后，他就坐不住了，恰好此时，沈其震前来劝他回去，叶挺不愿重回军部，一人又回到了重庆，他表示愿意为新四军的事奔走交涉。

　1940年6月初的一天，周恩来和叶剑英找到了叶挺的住处。周恩来的循循善诱和党中央的理解关怀，再一次打动了叶挺，为了抗日大局，他表示愿意重回军部。周恩来立即以叶挺的名义给蒋介石写了一封信:表示不想辞职，愿回军部继续工作。就这样，在离开军部十个月之后，叶挺冒着酷暑，再次回到了皖南新四军军部。

　1940年，日军向太平洋美军发动进攻，国内抗日压力减轻，蒋介石迫不及待地发起了第二次反共高潮。10月19日(皓日)，蒋介石签发了“皓电”，诬蔑八路军、新四军“不遵命令”，“非法越轨”，限令黄河以南的八路军、新四军在一个月内全部开往黄河以北，企图将八路军、新四军限于黄河以北的狭小地带，借日寇之手将其消灭。

　中央早已洞察其奸。11月9日，以彭德怀、朱德、叶挺、项英的名义，复电何应钦与白崇禧(佳电)，有力驳斥了国民党顽固派对八路军、新四军的诬蔑，揭露了他们消极抗日，积极反共的阴谋实质。但是为了顾全大局，表示新四军皖南部队将遵命北移。叶挺奉中央指示，前往上饶三战区总部，找顾祝同商洽北撤事宜。叶挺说由于日军对长江水道封锁的很严，我军很难从皖南直接北渡，希望第一步先移往苏南，然后从镇江一带渡江，到达苏北。在北移途中，希望三战区部队部署保持10月份原状，以保证新四军移动安全。

　顾祝同信誓旦旦地表示，愿以自己的政治人格担保新四军的转移安全。至于叶挺提出的发放经费及枪械补给问题，他加以搪塞，要叶挺去找第三十二集团军总司令上官云相办理。

　叶挺来到了宣城县周王村找到了上官云相。上官云相是叶挺保定军校的同期同学，此番他率三十二集团军来皖，即是奉顾祝同命令来执行堵击新四军任务的。上官表面上对这位老同学异常热情，他虚伪地满口答应:“好说，好说，老同学的事，能帮得上忙的我一定尽力去做。”

　上饶和宣城之行，并未收到什么实质性的效果。相反，叶挺警觉到，顽军方面针对我军的北移行动，恐怕已有所部署。而项英此时对撤退还是不撤退，仍是举棋不定，更谈不上考虑如何在北移途中打破顽军围攻的问题了。

　叶挺返回军部后，多次致电与顾祝同和上官云相交涉，请求尽快解决经费和弹药问题。顾祝同拒不理睬，上官云相则复电:“吾辈相见以诚，国家民族百年大计，自当相助相谅，绝无丝毫意气存在，耿耿此心，可赐天日。”叶挺对顾、上官二人敷衍塞责，感到忍无可忍。11月28日，他致电顾祝同，提出辞职。但顾祝同不予接受，回电挽留:“该军开拔在即，领导统率，正深依赖，所呈辞去一节，应毋庸议。”当然这并非是对叶挺的诚意挽留，而是希望在他们部署完毕之前，稳住新四军。事隔一个月，便发生了震惊中外的皖南事变，叶挺在谈判中被扣，之后被革职囚禁。

　叶挺在被囚禁期间曾作了一首四言诗，概括了他当军长以来的坎坷经历:“三年军长，四次辞呈。一朝革职，无期徒刑。”（冯应彬）