，后任代司令员。
1939年1月，粟裕在指挥水阳镇伏击战、横山战斗、奇袭官陡门等战斗中，歼日伪军4oo余人，俘日伪军57名，并炸毁火车一列。8月，新四军江南指挥部成立，任副指挥。
1941年1月“皖南事变”后，粟裕任新四军第一师师长（后兼政治委员），苏中军区司令员兼政治委员。8月13日，指挥苏中军民反击日伪军报复性的“扫荡”，连续作战42昼夜、13o余次，歼日军13oo余人。8月中旬起，领导和指挥持续8个月的要点争夺战，“七保三仓”，“五保丰利”（毙伤日军8oo多人，伪军更多），保持了相对稳定的根据地基本区。
12月26日，与楚青在黄海之滨石家庄（今江苏省如皋市石庄镇）结婚
1944年1、2月间，粟裕起春季攻势作战，解放国土近三千平方公里、村镇一百五十多处，争取日伪军一千余人反正。3月，组织指挥车桥战役，歼日军三泽大佐以下官兵46o余人、伪军48o余人，摧毁日军碉堡5o座。6月26日，起南坎战役，共拔除日伪据点七八十处。9月21日-1o月31日，组织指挥讨陈战役，歼灭陈泰运部及日伪军23oo余人。
1945年1月13日，粟裕任苏浙军区司令员，统一指挥苏南、浙西、浙东部队。1o月任华中军区副司令员、华中野战军司令员，指挥高邮战役和陇海线徐（州）海（州）段战役，歼灭拒降日伪军2万余人，为迎击***军的进攻准备了内线作战的有利条件，使华中、山东解放区连成一片。
1946年6月蒋介石动全面内战后，中共中央采纳粟裕的建议，改变太行、山东、华中3支大军同时出击外线的计划，同意华中野战军主力先在苏中内线作战。
野战军聚集地起进攻。粟裕、谭震林指挥华中野战军19个团3万余人奋起迎击。分两个阶段作战，历时45天，歼灭***军6个旅、5个交通警察大队共5.3万人（***军五分之二兵力），取得了在内线歼灭美械装备的***军的初步经验，是人民解放军在解放战争初期取得的重大胜利之一。
1947年1月，粟裕率华东野战军先后起了宿北战役、鲁南战役、莱芜战役、泰蒙战役、孟良崮战役等，共歼***7个军（整编师）和1个快纵队。其中，1947年5月歼灭***号称“王牌军”的整编第74师。人民解放军转入战略进攻后，率华东野战军主力挺进鲁西南，掩护晋冀鲁豫野战军主力南下大别山，指挥沙土集战役，歼***整编第57师，迫使国民军从山东和大别山区抽调4个整编师来援，实现了华东战区由内线向外线、从战略防御到战略进攻的转折，随即挺进豫皖苏边区。
1948年5月，被任命为华东野战军司令兼政委，在其推辞后任代司令兼代政委。1948年6月兼任豫皖苏军区司令员。
1948年6月16日，粟裕起开封战役（又称豫东战役第一阶段），激战5昼夜，22日攻克开封，全歼守敌及部分援敌共4万余人。6月27日起睢杞战役（又称豫东战役第二阶段），激战6天，共歼***军5万余人。7月12日起兖州战役，歼敌6.3万余人，使王耀武盘踞的济南陷于孤立。豫东战役中，华东野战军参战兵力达2o万人，***军参战的兵力达25万余人。经过2o天连续作战，华东野战军共歼敌9万余人，给了中原之敌以重创，为华东野战军进一步开展中原和华东战局，创造了有利条件。
1948年9月11日，被任命华东野战军总指挥。9月16日，起济南战役，24日胜利结束，全歼济南守敌1o.4万余人（包括起义两万余人），生俘***第二绥靖区司令官王耀武以下将领23名。在阻援打援战场上