彭德怀从朝鲜战场下来以后，周恩来即提名彭接替他主持军委工作，1952年7月得到政治局会议的批准。彭德怀很快走马上任，并立即提名调自己的老部下黄克诚担任副总参谋长的职务。于是，黄克诚成了彭德怀抓军委和总参工作的主要日常助手。虽然粟裕于1954年10月做了总参谋长，但黄克诚同时被正式任命为军委秘书长，实际上全面负责主持军委和总参的日常工作。不难看出，彭德怀对粟裕这个总参谋长也是信不过的。

    一方面彭德怀信不过粟裕，另一方面粟裕为人又一向坚持原则，不事迎合，在自认为正确的问题上，常常是毫不退让，据理力争，加上他们之间对末来战争的认识和战争准备上看法的某些不同，这就不可避免地会在两人之间引起种种矛盾。粟裕就任总参谋长之后，很快就提出抽几个军作为统帅部战略预备队，配置在便于机动的地区，平时由各军区领导，但不编入各军区战斗序列，战时由统帅部统一机动的建议。

    对此，彭德怀认为没有必要，说全国都属解放军，一旦战争爆发，统帅部完全可以从各军区临时抽调部队组织战略预备队。粟裕则坚持认为，等战争爆发再抽调组织这支部队，一是会打乱各军区的作战计划；二是战争一爆发，交通被破，部队行动受阻，将会失去战机。成立国防部后，各总部仍直接受中央军委的领导，但彭任国防部长后，为了体现国防部的领导，许多原来由中央军委和总部颁发的命令、反示，都要求改由国防部署名。而哪些要以国防部的名义发布，哪些不用，又没有明确的规定。于是，总参为中央军委起草的和总参本身下发的命令、文电，就常因署名问题而受到指责。鉴于这种情况，粟裕要求明确国防部与总参谋部的职责，以便今后在日常工作中有所遵循。1955年3月16日，中央军委接受了粟裕的意见，责成总参起草国防部与总参职责条例。但总参一连五易其稿，均未能获得通过。

    1957年11月，粟裕作为彭德怀率领的中国军事代表团的成员，根据原定的日程对口拜会了苏军总参谋长。粟裕从借鉴苏军经验的角度，向苏军总参谋长索科洛夫斯基提出，请对方提出一份苏军“关于国防部和总参谋部工作职责的书面材料”，以便参考。这件极其正常的事，却被军委领导认为粟裕是“告洋状”。

    正是由于存在着这样一些隔阂与意见分歧，性情比较暴躁的彭德怀往往对粟裕出言不逊。甚至当粟裕在上报的文件上写了“彭副主席并转呈中央、主席”字样时，他都会大发脾气，说：“我不是你的通讯员！”在这种情况下，粟裕在工作中很难得到主持军委工作的彭德怀的支持，他对军队建设和日常工作提出许多重要建议和意见，自然也得不到重视和及时的批复，这不免要影响到总参工作的正常运行，包括他主持下拟定的全军的作战计划，竟也长时间得不到批复。而越是这样，粟裕就越是想要解决这个问题。直到1958年5月参加中共八大二次会议时，他还当面向毛泽东表示希望能够直接跟毛泽东谈谈自己对军队工作和总参工作的意见。他完全没有想到，这个时候的毛泽东也已经不再信任他了。 1958年5月24日，中央军委扩大会议举行第一次小型会议，参加会议者基本上都是军委委员和军队的中央委员。彭德怀在会上宣布，这次扩大会议的主要内容是整风、整编两大问题，要采取大鸣放、大争辩的方法来解决问题。令粟裕深感意外的是，一天之后，即5月26日，当他接到通知赶去中南海居仁堂参加有军委主要领导参加的会议时，发现会议竟是冲着他来的。与会者就粟裕在所谓“总参和国防部关系”上的“错误”进行了批判。批判中给粟裕扣的帽子有“一贯反领导”、“向国防部要权”、“告洋状”等。有关这次会议的内容，还向总参二级部的领导作了专门的传达，明显地是为在军委扩大会上批判粟裕定调子。

    军委扩大会议于5月27日正式召开，萧克在这次会议上被点了名。28日，粟裕就被迫在有50多人参加的军委扩大会第二次小型会议上作检讨。但这时会议的气氛还比较缓和。对此，毛泽东不很满意。他认为会议的温度不够高，因此要求元帅们和与会者以整风的精神大鸣大放，通过会议与大小字报相结合的办法，一周之内使空气紧张起来。