1940年，他的连随部队进驻山东曹县。曹县韩村集驻扎着一支日本部队，这支日本部队烧杀掳掠，无恶不作，冀鲁豫军区决定除掉这伙祸害，罗少伟坚决要求他的连承担这一光荣任务。他将部队埋伏在村子四周，亲自带了一个侦察班，在一个受害妇女的带领下，搞掉哨兵，摸进据点，悄悄地爬上日本兵指挥所的房顶，轻轻地揭开屋瓦，将一捆拉开弦的手榴弹扔了下去，使敌人的指挥所立即变成一片火海。埋伏在村外的部队，听到爆炸声，一声呐喊，冲进村里，经过一夜的战斗，全歼守敌107人，缴获了大量的武器装备。这次战斗，首创了鲁西南拔掉日军据点、全歼据点日军的范例，受到根据地广大军民的肯定和赞扬。不久，他即被提任为冀鲁豫军区教七旅营长，以后又被提任教导第四旅十一团团长。
十一团活动区域为微山湖以西的抗日根据地，湖西地区日、伪、顽势力雄厚，罗少伟率领部队不断与敌人周旋，打击敌人，壮大自己。先后平息了湖西会道门叛乱，参加了反“扫荡”、反“分割”、反“蚕食”斗争，在与国民党反共摩擦“专家”李仙洲集团的斗争中，十一团配合军区经过6个月的艰苦战斗，终于粉碎了李仙洲、孙良诚部的进攻，取得战斗的完全胜利。
1942年，罗少伟被调到冀鲁豫军区陆军中学学习。在“九·二七”大扫荡中，日本鬼子包围了陆军中学，罗少伟和他同宿舍的6名战友全部被俘。他们7人视死如归，大义凛然，任凭敌人严刑拷打，决不屈服。敌人无奈，只得将他们关押在十分低矮的牢房里，用潮湿恶劣的生活环境来折磨他们。但他们仍然坚持斗争，罗少伟秘密地将墙壁上挖了一个小洞，互相传递信息，他对战友们说：“我们都是共产党员，活要活得有志气，死要死得刚强，决不当孬种。”并利用挖壕沟和修路的机会，观察地形，联络越狱。11月18日劳动回来，罗少伟认为时机成熟，传话：“今晚动手！”深夜，乘敌人熟睡，他用石头砸开牢门，谁知惊醒了看守。说时迟，那时快，情况的突变，容不得他有半点迟疑，他手握石头，快速地躲到廊柱背后，当冲过来的日本兵与其靠近时，他突然闪出来，用石头将其砸死。另一看守一枪刺来，罗少伟一个换步，一手抓住敌人枪身，另一手用石头猛力向敌人头上砸去。将看守解决后，罗少伟快速地砸开战友牢门，低声对战友说：“跟我来！”7个人快速地接近大门，果断地与守门哨兵进行搏斗，打死了哨兵，夺取了3支枪，冲出了大门。与哨兵搏斗中哨兵开了枪，引来了守卫敌人，罗少伟等利用夜幕的掩护和熟悉的地形，边跑边打，一直与敌人周旋了两天，终将敌人摆脱。但一名战友在战斗中不幸中弹牺牲，罗少伟自己头部也负了伤。罗少伟等人越狱的英勇行为，轰动了济南，也轰动了整个山东。在他们的影响下，于12月3日又有十几人打死日军，成功越狱，逃离了虎口。对罗少伟等夺枪越狱的壮举，军区司令员杨得志于1943年2月15日亲自签署命令，表彰罗少伟、黄兴华、傅涛华、史涛等20多名同志，号召军区指战员和根据地军民向罗少伟等同志学习。学习他们在敌人监狱里，在敌人屠刀下，对党对人民坚定不移的钢铁信念；学习他们敢于斗争、敢于越狱的英雄虎胆；学习他们巧与敌人周旋、巧与敌人斗争的无穷智慧。
