紧接着，李济深与钱大钧在广州发动四一五政变，逮捕和屠杀共产党人，4月17日，余汉谋接到广东当局发来的密电，命令他在高要地区实行“清党”，搜捕“赤色分子”。电报中列出的黑名单中都是当地协助当局工作的进步人士，余汉谋觉得若按这个黑名单实行抓捕的话，未免太伤情谊，便将电报交给团政治指挥员梁应能，让梁秘密通知中共负责人黄学增等，要他们立即离开城镇。第二天，余汉谋派人展开搜捕，查封各地工会、农会和工人纠察队，以敷衍上级。
1928年2月，李济深从南京回到广州，将粤军整编为三个军，任陈济棠为第四军军长，余汉谋升任第十一师师长，调防高要。高要地区是余汉谋的故乡，余汉谋一边编练军队，一边肃清土匪，改组基层组织，修筑公路，建设城镇，为家乡做了一些实事。
1929年1月，蒋介石在南京召开编遣会议，企图以裁军的名义剥夺各地方实力派的军权，引发各派军阀的强烈不满。在蒋桂战争一触即发的时候，蒋介石为破坏粤桂联合，将李济深诱至南京，囚禁于汤山，并拉拢陈济棠，陈济棠趁机投蒋，被任命为广东编遣区主任，兼讨逆第八军总指挥，取代李济深掌握广东军权，与拥蒋的陈铭枢分治广东，余汉谋被任命为编遣后的第一师第一旅旅长。蒋桂战争开始后，余汉谋曾率部与桂军作战。