４月５日，日軍阪本支隊與後方的聯繫已完全被第２０軍切斷，彈藥、糧秣均無法從臨沂方面的第５師團獲得，不得不從第１０師團瀨谷支隊方面補給，已陷於困境。當晚１９時３７分，該支隊下令準備退回臨沂地區，並於２０時３０分致電瀨谷啓：
“支隊爲攻佔沂州，奉命返回，預定明（６日）日沒後開始行動，７日拂曉前在三佛樓附近集結兵力。”此時，瀨谷支隊對臺兒莊的攻擊亦毫無進展，留置黃要莊的第１０聯隊的１箇中隊在第２７師的猛攻下已放棄紀莊等外圍村莊，退縮至黃林莊。
因第２０軍團迄今尚未對進攻臺兒莊日軍的側背進行有力的攻擊，致臺兒莊的形勢日趨危急，因此蔣介石於１２時致電湯恩伯：
“臺兒莊附近會戰，我以１０師之衆對師半之敵，歷時旬餘，未獲戰果，刻軍團居敵側背，態勢尤爲有利，攻擊竟不奏效，其將何以自解?應急嚴督所部於六、七兩日奮勉圖功，殲滅此敵，毋負厚望。”湯恩伯接到電令後積極部署進攻：令第７５軍“以一部鞏固岔河鎮東南、西南一帶高地之據點，主力繼續向蕭汪、東莊、臺兒莊攻擊前進”；令第８５軍（附第６６５團，欠第５師）“向低石橋、燕子井、岔河山、劉家湖繼續攻擊前進”；令第５２軍（附騎兵第５團）“以有力之一部鞏固洪山鎮、蘭陵鎮、向城一帶之據點，主力即刻開始經甘露寺、腰裡徐，向泥溝、北洛之線攻擊前進”。同時急令第３１師師長池峰城：“明日（６日）決將臺兒莊之敵擊潰，與貴部會合。如不成功，甘當軍令。”
當晚，第５２軍到達底閣、楊樓、陶溝之線，第５８軍的第８９師在朱莊、黃洲之線向大顧珊之敵進攻中，第７５軍的第１３９師在岔河鎮、西黃石山之線向蕭汪之敵進攻中，第７５軍的第６師在戴莊、李家圩之線向辛莊之敵進攻中。
同日，第２集團軍總司令接到第一戰區司令長官程潛的電報：
“本長官奉令特來徐州督戰。臺兒莊之敵限自魯起至齊日止（６日至８日），３日內務捕捉殲滅。樹立首功者獎洋１０萬元，否則師長以上定予重懲。”
孫連仲接電報後立即“嚴令各部務於限期內將當面之敵肅清，免受軍令制裁”。第１１０師於當晚從得勝口潛渡運河北進，準備於次日進攻獐山附近之敵。
４月６日晨，日軍瀨谷支隊長髮現第１１０師的部隊已進至泥溝、獐山以西附近，第２０軍團第５２軍的部隊已逼近至支隊部所在地楊廟東北約７公里的張樓地，而阪本支隊主力已被第５８軍及第７５軍從北、東、南三面包圍於邢家樓、大顧珊地區，且又準備於今晚撤走。這樣，“瀨谷支隊長認爲獨立維持臺兒莊戰局困難”。
決定退卻，於１５時３０分電告磯谷廉介：“暫撤離臺兒莊地區，部隊向後方集結”；同時部署撤退，下令：“支隊於本日日沒後以全力向北轉進”，令步兵第１０聯隊第１大隊及步兵第３９聯隊第１大隊提前於日沒時即佔領白山西村及獐山，令步兵第６３聯隊主力（不包括臺兒莊部隊）於日沒時向朱莊進攻，以掩護支隊主力撤退，第１０聯隊、臺兒莊內第６３聯隊第２大隊及頓河閘、插花溝、黃林莊的各中隊均於２０時撤出第一線，向泥溝地區集結。在兗州的磯谷廉介接到瀨谷啓的電報後，立即命令參謀長電告瀨谷啓，令其終止後退。但瀨谷啓身陷險境，深知如果今夜不能迅速脫離臺兒莊地區，等明日中國軍隊合圍後就有被全殲的危險，因而抗命不從，繼續指揮支隊退卻。由於倉促退逃，又是在中國軍隊的進攻下進行的，所以許多軍需物資，如糧秣、彈藥、被服以及日軍屍體等均來不及帶走，全部放火焚燒；有些重型機械化武器也因彈盡油竭、無法開動，不得不自行破壞，遺棄於戰場。僅就臺兒莊附近戰場而言，該支隊僅有的２門１５５毫米重炮及５輛履帶牽引車以及８輛坦克均遺棄於戰場（後被第２００師運至湖南湘潭修理），可見其潰逃時的狼狽之狀。
臺兒莊內的日軍與第３１師的部隊隔牆相接、鄰屋而戰。日軍想安全撤走，但守軍以密集火力及手榴彈封鎖，相當一部分日軍在撤退的最後一刻被殲滅。至７日凌晨５時左右，臺兒莊內的日軍全被肅清。
４月７日，日軍瀨谷支隊主力退至官莊地區，後方掩護部隊在獐山一帶。阪本支隊得悉瀨谷支隊北逃後，當夜亦在火力追擊下加速撤逃。本欲向東北、經向城返回臨沂，由於第２０軍團主力均在東北方向，根本無力突出重圍，於是改向西北方向敗退，向第１０師團部隊靠攏。
第五戰區司令長官李宗仁得知日軍北逃的情況後，於１３時下達了追擊命令。各部接令後，開始按命令追擊。
４月８日，瀨谷支隊主力集結於嶧縣地區，一部兵力佔領獐山、白山西；阪本支隊退至棗莊以南郭裡集一帶。第２軍司令官西尾壽造令第５師團以步兵第２１旅團爲基幹的阪本支隊歸第１０師團長指揮。磯谷廉介命令兩支隊“在現駐地附近大力整頓兵力，蒐集敵情，作女子下一步進攻準備”。
在整個臺兒莊戰鬥期間，第３集團軍遵照第五戰區的命令，以有力部隊滲入到兗州以北地區進行遊擊作戰，以配合臺兒莊的作戰：３月２３日，第１２軍的第８１師夜襲兗州，殲敵一部，並將兗州以北鐵路破壞；３月２６日，第５５軍的第２９師炸燬大汶口鐵路多處，使日軍列車脫軌；３月２９日，第８１師又夜襲大汶口飛機場，炸燬敵機８架等。
４月９日至１１日，追擊的中國軍隊先後均已迫近嶧縣：左翼兵團進至嶧縣以南的白山西、泥溝一帶，右翼兵團進至嶧縣以東的土山、馬山一帶，堵擊兵團進至棗莊以北地區。此時日軍瀨谷、阪本兩支隊已集中兵力佔領了白山西、獐山、九山、郭裡集等各要點。
在臺兒莊大戰的末期，１９３８年４月６日，李宗仁趕到臺兒莊附近，親自指揮部隊進行全線反擊，４月６日凌晨１時，我軍吹響了反攻的號角，以孫連仲第2集團軍爲主組成的左翼兵團和以湯恩伯第２０軍團爲主組成的右翼兵團在臺兒莊及其附近地區大舉反攻。
一直防守遭攻的高飛部，聽說反擊，神情振奮，命令一下，殺聲震天。雙方便展開了巷戰、肉搏戰，一時間，臺兒莊城內槍林彈雨，血流成河。
日軍頭一次遭到了國民黨軍隊的如此頑強進攻，很快便潰不成軍。臺兒莊北面，槍炮聲漸密，湯恩伯軍團已向敵人開火。磯谷知已陷入反包圍圈，開始動搖，下令部隊全線撤退。此時敵軍已成強弩之末，彈藥汽油也用完，機動車多被擊毀，全軍喪魂落魄，狼狽逃竄。李宗仁命令部隊猛追，敵兵遺屍遍野，各種輜重到處皆是，磯谷本人率殘部拼命突圍。
激戰４天，中國軍隊重創日軍瀨谷支隊、阪本支隊，其餘日軍殘部於７日向嶧城、棗莊撤退。至此臺兒莊戰役勝利了。
臺兒莊會戰，在李宗仁的親自指揮下，擊潰日軍第５、第１０兩個精銳師團的主力，殲滅日軍２萬餘人，繳獲大批武器、彈藥，嚴重地挫傷了日軍的氣焰，是國民黨戰場在抗戰初期取得的一次大勝利。振奮了全民族的抗戰精神，堅定了國人抗戰勝利的信念！
(）