林鳳祥抵近京畿，石達開攻佔安慶，咸豐帝怒，再諭向榮、琦善，揚州賊匪日漸窮蹙，屢次縋城冀圖逃竄。自肅州鎮總兵徐雙來失事後，未聞有攻城之舉。而安慶又被賊踞，江西匪船分擾楚、皖。江北一帶若不趕緊肅清，賊勢蔓延，何所底止！朕思移緩就急，必以先克揚城爲要，着向榮於和春、蘇布通阿二員內酌派一員管帶精兵，馳往江北，於琦善大兵協力攻剿，迅圖收復。揚州既復，鎮江匪勢自孤，當不難次第克復。
向榮以金陵、鎮江戰事緊急，遲不分兵北渡。
琦善接旨，即聯四川總督慧成、漕運總督查文經、左副都御史雷以誠，統兵一萬，強攻揚州；連擊五日，無果。琦善遂將楊州圍個水泄不通。一月下來，揚州糧盡。荒草樹皮，貓狗鼠鳥，皆被吃光。
揚城守將曾立昌血書求援，楊秀清飭令春官又副丞相曾錦發救援。
曾錦發率兵三千，突飛猛進，一刻無歇。兵士怨，曾錦發身先士卒，單騎突前，直闖三汊河，忽有炮彈飛來，曾錦發躲閃不及，中炮身亡。
楊秀清遣賴漢英再救。賴漢英率兵五千，舟行瓜洲，合尹謙吉守軍，分擊三汊河、儀徵，又令曾立昌，兵出揚州，以作接應。
太平軍三路夾擊，琦善顧此失彼，疏告：瓜洲通江之河向分三道，中路一道爲瓜洲河，分東西兩岸；西路一道爲儀徵河，分南北兩岸；東路一道爲揚州運河。昨賊已踞其二，復會合金陵、鎮江、瓜洲各路之賊由兩河分路齊進，賊船不下千隻。今賊竄踞儀徵，距揚城止數十里，儀徵北門復有山路可直達揚城西北，以襲我兵後路。而官兵除傷病不滿一萬，各路防剿實覺應接不暇。
咸豐帝諭曰：攻其必救，圍點打援，戰之常態。揚州城內賊糧將盡，窮蹙思竄，勢所必至。該大臣等亟宜妥籌協剿，合力進攻，萬不可再事稽遲，致令竄逸。無論該逆由何路竄出，該大臣等均不能辭罪。半載以來，勞師糜餉，蕞爾揚城不能迅圖克復，豈坐待賊匪全竄，又復滋蔓他處，乃以收復城池入奏爲卸責地步耶？向榮坐鎮江南，攻而不攻，援而無援，朕不知該臣是何心思！人曰老而彌堅，二臣卻老而無志，如再不知愧奮，朕必用遏必隆刀將汝等正法！和春一部，勿於鎮江蹉跎，着即北進徐州，扼捻匪北竄。
和春奉調行北，向榮奏請已革提督餘萬清提領鎮江軍務。
向榮謂餘萬清道：“餘兄即攻鎮城，欲以何策破擊？”
餘萬清道：“剿撫並行，以撫爲主。”
向榮道：“長毛皆兄弟，人人皆平等，勢難撫平！”
餘萬清道：“三千年塵世，生老病死、吃喝住行、婚姻嫁娶，人之常情事，絕無人人平等之說。吾動之以情曉之以理，或可有成。”
向榮道：“吾以身家性命擔保，餘兄切勿負我。”
餘萬清道：“已死之人，幸蒙向帥提挈，敢不以死相報！”
咸豐帝聞之復嘆：“餘萬清乃一敗再敗之將，向榮之識，猶如井底之蛙。”
賴漢英激戰二十餘日，諜知揚城東路清軍贏弱，遂避實擊虛，渡河而擊。行前，賴漢英血脈忿張，道：“今日行兵，只救揚州兄弟，楊州圍解，同迴天京。揚州陷落，一併戰死，誓不生還！全軍隨我，血戰清妖！”
是夜，賴軍繞赴揚子橋下游渡河，攻擊遊擊馮景尼部，景尼無備，單騎逃亡。賴軍復擊施家橋、陳家港、灣頭，雷以諴、查文經、慧成等亦無防備，一觸即散。
賴漢英率軍進抵揚州城，歇息一日，即偕曾立昌一軍，開啓南門，出走瓜洲、儀徵。
一夜之內，戰局驟變。琦善目瞪口呆，竟不敢追，只五百里急奏：啓稟吾皇，揚州業已被奴才克復。
咸豐帝詔斥琦善：攻圍半載之賊，一旦竄出，成何事體！尚此鋪張，無恥已極，粉飾入奏，已屬有意掩飾，若被賊聞，豈不成一場笑話。非爾如此，向榮、餘萬清更甚，揚州戰酣，賊匪屢自金陵、瓜州、儀徵分道增援，向榮既有所聞，何以不急攻金陵掣賊後路？鎮江匪情尤爲窮蹙，何以但事堵御，並不攻剿？二臣似以東南暫保無事，遂從寬宥？
太平軍血戰揚州、儀徵、三汊口，損兵甚多。楊秀清敕令石達開分兵回援。又道：皖地廬州，十分之重要，佔此，可北接豫魯，西進湖北，南援天京。翼王兄弟何日攻廬？
石達開接令，即召胡以晃、曾天養議攻廬州。
石達開道：“安徽巡撫李嘉瑞，上月解職；新撫江忠源，各地竄援，至今未至。周天爵老朽，病死亳州。幫辦團臣呂賢基，文人書生，全不知兵。此機可乘。”
胡以晃道：“這呂賢基，就知道慌，慌地一沓糊塗。聽聞此妖受翰林編修李鴻章蠱惑，感念桑梓之禍，上疏清妖首兒，誓剿我等‘匪逆’。孰料尚未赴皖，即嚎啕如喪考妣。挽李鴻章手道：君禍我，上命我往，我亦禍君，奏調偕行。“
石達開道：“李鴻章，父子練兵，齊整悍勇，翰林作綠林，屢阻吾行，不可小覷。皖北袁甲三，接周天爵之職，逢戰必勝，整肅亳州、蒙城、標裡鋪，更不可等閒視之。”
曾天養道；“李、袁皆小妖，無頭亂飛，撞了大運；江忠源未至，皖地亂作一鍋粥。吾合力一攻，妖必作鳥獸散。”
石達開道：“江忠源，屢戕我天國兄弟，南王馮雲山大哥，更是命喪此妖手。今吾攻廬，其新晉巡撫，萬死必救，吾設重兵，弒殺江妖。”
1853年11月10日，胡以晃、曾天養領一萬精兵，先攻安慶北部重鎮集賢關，斬清將賡音太、伍登庸。又攻桐城，殺士紳馬三俊五百練勇。
11月29日，太平軍兵臨舒城。
翰林編修李鴻章正於舒城勸募團練。護勇勸：至皖練勇，無守城責，且未轄一兵，賊鋒甚銳，可退守以圖再舉。
李鴻章思忖半晌，策馬獨走。
江西幫辦團練大臣呂賢基聞李鴻章遁，憤然道：“吾奉命治鄉兵殺賊，當以死報國。敢避寇倖免乎？”遂登城守禦。城陷，賢基投水死。
12月1日，曾天養率前軍進擊廬州。