当时的笫四军里有许多共产党人，政治思想比较活跃，这对叶剑英有较大影响，他看到武汉国民政府的汪精卫、谭延 等人越来越走向反动，只有共产党人大公无私，真心为广大民众谋福利，便决定加入共产党。他多次提出加入中国共产党，党组织向周恩来作了汇报，周恩来当即就肯定地说：他的底子我知道，是好的，我们应当表示欢迎。1927年7月上旬，在中共面临严峻形势下，经周恩来同意，中共中央批准叶剑英为中共党员，不过，为了保密，党组织让叶剑英暂时不要和其他党员发生联系。叶剑英坚定地投人了党的怀抱，并秘密地潜伏在敌人的营垒中，机智勇敢地同敌人进行周旋。
当叶剑英得知汪精卫、孙科、朱培德等要诱骗叶挺、贺龙上庐山“开会”以期解除叶、贺兵权的消息后，不顾个人安危，于7月24日约叶挺、贺龙在九江甘棠湖以游湖观景为名，把这个消息秘密告诉了叶、贺。他们在一起还共商对策，商议后他们决定：1：贺、叶不上庐山；2：不能接受张发奎调贺、叶部队到德安集中的命令，贺、叶部队要立即开往牛行车站，乘火车到南昌去；3：叶挺的部队先行，贺龙的部队随后行动。7月25日、26日，叶、贺所属部队拉向南昌，叶剑英组织的这次史称“小划子”的会议，保障了南昌起义得以顺利实现,在客观上为南昌起义创造了重要条件。
南昌起义爆发后，张发奎原准备遵照汪精卫的命令，火速追赶叶、贺部队，加以歼灭，在第二方面军高级干部会议上，叶剑英以第四军参谋长的身份，提出不要追赶叶、贺，而直接回师广东的建议。他劝说张发奎尽早打回广东，实现总理遗训，以图重新北伐，这也是张发奎早有的计划，只因李济深坐镇广东，不让张发奎回广东。叶剑英机智地分析了战局：叶挺、贺龙已撤离南昌，正在南下广东，广东的李济深必不相容并派兵出击，广州城也就因派兵出击而造成空虚，这正是我们南下广东的最好时机。叶剑英还分析了跟着叶挺、贺龙部队追击，将造成两败俱伤，会大伤部队的实力。叶剑英的一番“宏谈”，正合张发奎做“广东王”的愿望，他改变了追击叶、贺部队的计划，派部队佯装追赶一段后，即命黄琪翔代理总指挥，直接把部队拉到了广东，张发奎自己到香港去了。国民党出版的《国民革命军战史初稿》中记载：“叶、贺等遂东去抚州，张发奎率师追之。嗣忽分途，叶、贺等由闽粤边境趋潮汕，张发奎部则改由南雄入粤。”叶剑英使南昌起义的部队减少了追击的压力，将第四军拉回广东，为广州起义创造了条件。
