中国共产党成立后，为了贯彻党的一大提出的党在当前的中心任务即组织工人阶级、加强党对工人运动的领导，中共中央于中国产业中心--上海成立了“中国劳动组合书记部”。当时该机关在全国设立了四个分部，谭平山在陈独秀提议下出任南方分部主任。据记载，此时的谭平山特别注重工人运动及组建工会，“他回到广东后半年，仅在广州就成立了32个工会”。为通俗宣传马克思主义，谭平山还用广州方言写了《今日工人团体应有口既责任》。作为中国共产党最早认识农民问题重要性的领导人之一，他还积极支持农民运动，建立农民运动讲习所。在其领导下，广东工农运动风起云涌，多次受到陈独秀的夸赞。

　　1923年6月，中国共产党第三次全国代表大会在广州举行，以谭平山任书记的广东党组织为此次会议的顺利召开做了大量的筹备工作。在这次会议上，谭平山当选为中央局委员。

　　三大后，国共两党开始实现第一次合作，广州遂成中国革命的大本营。此后，谭平山曾作为共产党人代表参加中国国民党第一、第二次全国代表大会，并在国民党一届一中全会和二届一中全会上当选为中央执行委员常务委员，任中央组织部部长、农政部长等要职。陈潭两人在国共合作的过程中齐心协力，并肩作战，为国民革命的顺利进行和工农运动的不断发展做出了重要贡献。

　　据记载，此时的谭平山“能力较强、工作出色，在广州乃至全国影响极大”，党内甚至一度出现“南谭北李中间陈”的说法。以至于到了1947年秋，谭平山抵香港后开展华南民主运动时，《星岛晚报》撰《民主“美髯公”谭平山》文，回顾他20多年前在传播马列主义、建立共产党的历史功绩，还再次提出“南谭（广州谭平山）、北李（北京李大钊）、中间陈（上海陈独秀）”的说法，足见谭平山影响之大。

　　然而，在这段日子里，由于种种客观因素，陈独秀与谭平山两人之间开始出现了一些分歧。当时，随着国民革命运动的深入，国共统一战线内部的矛盾也日益激化，共产国际指示以陈独秀为首的中共中央要千方百计地拉住国民党“左派”，拉住汪精卫、唐生智，甚至不惜牺牲农民运动来维护统一战线，常常使得谭平山处境尴尬，因为，“身为农政部部长的他不但不能领导农民运动继续深入，反而却要连发通告，通令纠正农民的‘过火’行为，并因此无端受到种种指责，常常无所适从”。

　　1927年6月底，鉴于武汉国民党的叛变已经日益明显，“共产国际来电指责谭平山的就职演说，对他表示不信任”。于是，陈独秀主持召开中央扩大会议，通过国共合作11条决议，“其中要求参加政府的共产党员‘请假’，以减少‘政局的纠纷’。谭平山只有‘请假’离开农政部”。而“此时的谭平山似乎理不直，气不壮，灰溜溜地称‘因病请长假’，并又一次受到陈独秀批评”。两人之间亲密无间的合作，自此出现一些瑕疵。

　　令人扼腕的结局