此后，刘安恭对毛泽东意见更大，一有空就下部队搜集情况，对毛泽东从实际出发的一些正确主张任意指责。是年2月，中共中央给红四军一封信，要红四军分散行动，散入农村，还要毛泽东、朱德离开红军到中央工作。对这个明显不符合实际的决定，毛泽东和所有前委委员都不赞成。4月5日，毛泽东以前委名义复信中共中央，阐明了理由。后来，中央也同意了朱德、毛泽东继续留在红四军的请求。

然而，刘安恭硬要抓住“中央来信”大做文章，指责毛泽东对抗中央，搞书记专政。主张按中央指示办，分散红军，逼迫朱德、毛泽东离开红四军。

红四军第二次入闽，5月13日一举攻克龙岩城之后，由于地方工作一度繁忙，前委决定恢复2月初在罗福嶂会议上已撤销的中共红四军军委，指定刘安恭任临时军委书记。可是，刘安恭在他主持的一次临时军委会议上擅自作出一条决定：毛泽东主持的前委只许讨论红四军行动，不许过问军队其他事务。下级党委作决定限制上级党委的领导权，这显然是错误的。于是就以军委的问题为焦点，加剧了红四军党内本已存在的有关军队的领导、单纯军事观点和流寇思想等问题的争论。

5月底，永定守敌省防军第二混成旅黄月波团弃城而逃。在永定的湖雷，毛泽东主持召开了中共红四军前委会议。会上，就党对军队领导的问题发生了激烈争论。争论的焦点是红四军内是否仍要设立军委。一种意见认为，“既名四军，就要有军委”，指责前委“管的太多”，“权力太集中”，是”书记专政”，有“家长制”倾向。一种意见认为，前委的领导工作重心仍在军委，“军队指挥需要集中而敏捷”，由于战斗频繁和部队经常转移，由前委直接领导和指挥更有利于战斗，不必设立重叠的机构，并批评在前委之下、纵委之上硬要设立军委实际上是“分权主义”。

大家意见未能统一，相反地争论更加扩大化。这就使前委无法统一领导，不好开展工作。

毛泽东、陈毅感到问题越来越严重，认为争论焦点虽然集中在要不要设军委，但实质是党要不要领导军队、怎样领导军队的问题，显然这是一个事关重大的原则性争论。

前委于6月8日在白砂召开了前委扩大会议。毛泽东的“军委应该撤销，集中权力于前委”的主张遭到刘安恭的极力反对。毛泽东表示不能担负这种不生不死的责任，请求前委马上调换书记，让他离开前委。

陈毅对刘安恭的行为十分气愤。为了维护毛泽东的领导地位，他劝毛泽东不要辞职，建议撤销刘安恭军委书记和政治部主任职务。这一建议很快得到大部分前委成员的同意，于是免去了刘安恭在军部的职务，改任第二纵队司令员。同时举手表决，同意取消军委。

军委是取消了，可党内争论的各种问题仍没有解决。毛泽东执意不肯收回辞职请求，陈毅只好代理前委书记。

白砂会议后，红四军党内军内，上上下下，沸沸扬扬，议论纷纷。刘安恭对失去职位十分恼火，几乎天天都散布谬论。