再說，林鳳祥北伐大軍攻至黃河劉家口，但見對岸清兵林立，渡船皆毀，自此入魯北上已無可能。鳳祥遂西進尋渡，一路殺至開封，屢攻不克。遂繞至朱仙鎮。
時麥兒黃黃，夏風習習，林鳳祥心境稍爽，遂再奏稟：東王千歲千千歲，自臨淮至此，盡見坡麥，未見一田，糧料甚難，兵將日日加增，盡見騎馬騾者甚多。忖思此時之際，各項俱皆豐足，只有穀米不足。臨淮至此，着人帶文回朝數次，未知至否？如此山遙水遠，音信難通。茲今在朱仙鎮酌議起程，西走尋渡，大軍越河功成，方可回稟各王殿下金安，無煩遠慮也。轉奏天王萬歲萬歲萬萬歲！
1853年6月22日，林鳳祥率軍由祥符趕至中牟，逢五百清兵城外紮營，即刻包圍砍殺。
清兵懼而抱首，只待死耳。
豫人目擊，嘆：“畏死而終不免於死。賊至而竟束手受戕，餒氣乘心，魂魄先喪。可見平日操練無方，武備懈馳，徒有食糧之名而已。”
林鳳祥攻得中牟，即刻督兵鄭州，於鞏縣尋得一渡口，秘命人尋舟，得小船三十。前軍、中軍三萬人，歷時七晝夜，全渡。後軍三千，不及渡，被追兵打散。
7月8日，林風祥率過河之軍，劍指懷慶府。
懷慶，豫西北重鎮，盛產貨藥，物阜民豐。林風祥倉促渡河，資財盡失，冀打牙祭，復待後軍。
孰料懷慶知府餘炳燾、知縣裘寶鏞皆乃猛人，巧舌如簧，闔府一宣，竟募得七千戰士。
林鳳祥先禮，降書綁箭，射入城垣。
餘炳燾臨危無懼，指揮兵士練勇，檑木滾下，矢石投下，滾湯潑下。林鳳祥連攻半月，死傷枕藉，一無所獲。強攻不克，林鳳祥遂外紮營寨，欲圈圍懷慶，耗死炳燾。此方甚毒，一月下來，懷慶府已彈盡糧絕。
餘炳燾無奈飭令：釋囚守城，城守釋囚。守城男子每日食麪糊兩餐；女子即無麪糊，清水亦可餐。
連攻不克，林鳳祥又調土營，挖道炸城。
炳燾乃於城中穴地，置大甕入內，令人坐而聽之，準聲所起，亦掘地道，掘愈近，聲愈近，至能辨人語，引水驟灌之。或以“草上無露則下有地道，遠近曲折，一目瞭然”。炳燾以此兩方，破地道三十餘處。
餘炳燾硬撐十日，清軍援兵陸續趕到。
7月18日，綏遠城將軍託明阿、都統西凌阿率兵四千，抵懷慶東南，于徐堡鎮紮營。
24日，河南提督善祿、大名鎮總兵董佔元率兵三千抵懷慶東北，駐足清化鎮。
27日，山東巡撫李僡率兵二千，駐紮清化鎮、二十里鋪。
28日，勝保率兵一千九，至懷慶城東八里處紮營。
29日，勝保率軍猛攻，託明阿等消極拖沓。勝保無權節制諸軍，惱，奏曰：近日各路官兵雖厚，而實在與賊接仗者不多。即便接仗，不過於距賊二百步外以槍炮轟擊。迨賊炮一發，賊旗一動，遂多不敢前衝。專恃槍炮安能破壘擒渠？故以之勝賊尚易，以之滅賊實難。至黑龍江馬隊之槍箭雖稱勁旅，不如吉林兵鳥槍，於截剿追殺更爲得力。臣觀，北路距賊甚遠，進戰時隔河施放槍炮，賊亦不甚介意。西路現在無兵，託明阿等東路尚能爲臣後援，而其官兵亦多不能前進。各路官兵雖多，皆有統帶大員，事權不一，未能和衷共濟。欽臣訥爾經額遠在臨洺關調度，實遠水不解近渴。
林鳳祥圍攻兩月，雖連敗各路援軍。但人疲馬乏，戰資耗盡，而始終不能破城。而清軍援部，正源源不斷，自東、南、北三方蜂擁抵近。林鳳祥斟酌再三，決意撤圍西進，擺脫追兵。
1853年9月3日，鳳祥率軍折入山西，連克垣曲、絳縣，斬殺二知縣，進逼平陽。
平陽得失關係晉省全局，咸豐帝嚴旨切責：前因賊擾懷慶，密邇山西，疊次諭令哈芬嚴密防堵。該撫前奏佈置隘口情形，據稱已屬周密。乃賊匪突陷垣曲，擾及絳縣、曲沃，直撲平陽。疊據藩司郭夢齡馳奏，而哈芬近在省南，奏報轉遲，且由陽城親帶官兵進剿，自應迅赴平陽迎擊，何以遷延旬日尚逗留潞郡？似此調度無方，畏葸無能，若仍令待罪封疆，必致更滋貽誤。懷慶圍解，勝保功大，加都統銜，賜黃馬褂，特予節制各路人馬，入晉殺賊。
1853年9月12日，林鳳祥攻打平陽，架炮轟塌城垣，兵勇商民驚慌四散，平陽知府何維墀脫手釧激賞之，亦不能止。林軍佔得平陽，尤恨平民助妖，怒將武廟沿街民居焚燒殆盡。
勝保率軍追至，密伏城北。
林鳳祥不知，督兵繼進，被西凌阿馬隊衝散。林鳳祥慌不擇路，督率後軍，退守平陽；李開芳率前隊，北進洪洞。
14日，榆林鎮總兵郝光甲率部趕至。勝保令郝部牽制林軍，自率大軍，圍攻洪洞，冀先北後南，各個擊破。
林鳳祥不知勝保撤圍，兀自北門突圍。郝光甲得悉，再伏城北。林鳳祥猝不及防，折兵百餘，復退城內。
春官正丞相吉文元道：“平陽之北，秋禾如雲，高粱夾道，正宜妖伏。不如聲北擊東，趁夜而出。”
鳳祥頷首，道：“大軍入晉，晉人爭送騾馬米糧；晉人善，有願附我者儘可納之。”
16日夜，林軍大張旗鼓，北門佯動，僞爲將戰勢。甫一接戰，詐敗入城，洞開東門，揚長而去。兵至洪洞，接洽李開芳部，方知勝保早撤，而郝部兵不過兩千。鳳祥咬牙切齒，惱羞成怒，傾兵南下，圈圍郝光甲部，一通廝砍，兩千清兵，幾近殺光。
勝保得悉，目瞪口呆，惶急疏曰：該逆始而窮竄，桀悍之徒不過四五千人，始堵御有兵，早已剿辦得手，今沿路裹脅又已過萬。拿獲長髮賊訊供，欲由山西乘虛直犯京師，是以所破城池不願踞守。臣揆度情勢，若不跟蹤追繳，逆賊必更猖獗；若僅一味窮追，前途調兵攔阻不及，設其竄過韓侯嶺，擾近畿疆，大局不堪設想。
咸豐帝懼林軍自晉入京，諭令勝保飛至韓侯嶺攔截，爲事權專一，特授勝保欽差大臣銜。
恭親王奕忻道：“昨接向榮奏報，言上海小刀會匪起勢，連克我嘉定、上海、寶山、南匯、川沙、青浦等縣。上海諸廳縣，皆三吳菁華之地，不獨海關稅銀賴充軍餉，轉眴籌辦海運，尤爲大局所關。”
咸豐帝道：“朕一再遷就，楊文定依舊碌碌，即刻逮治，坐論大辟。江蘇巡撫許乃釗，疾馳上海戡亂，怡良、向榮務必分兵馳援。”
許乃釗接旨，檄調常鎮通海道吉爾杭阿、湖北宜昌鎮總兵虎嵩林、參將秦如虎合師進剿。兩江總督怡良、欽差大臣向榮接旨，亦不怠慢，各遣兵馬，奔赴上海。
小刀會首劉麗川，廣東香山人，經商上海，因瑣事與蘇鬆太道吳健彰結怨，遂糾客籍粵、閩、江右會黨二千人，殺知縣袁祖德，劫道庫。
刑部主事劉存厚募勇千人，連克青浦、嘉定。吉爾杭阿軍至，漸次克復寶山、南匯、川沙，合圍上海。
向榮再奏：俟上海一克，即順道先擊鎮江，復統軍困圍金陵。
咸豐帝厲斥向榮畏葸，諭令即攻鎮江、金陵。向榮無奈，飭令和春進擊。和春懼覆鄧紹良之轍，謹攻慎擊，鎮江戰事一時膠着。
鎮江紳縉喟嘆：“鎮江屯軍，能任戰者，僅楚、粵、川、黔兵四千，或時與潮勇哄，浙兵助聲威而已。唯艇船集焦山五十餘艘，往往伺風上攻。”
向榮再奏：欲攻金陵，須先從水上去其船，使金陵、鎮江、揚州之賊，首尾不能兼顧，然後可以制其死命。臣正待粵師紅單船至。
上疏不久，自感欠妥，又奏：攻城之法，城小可以合圍，城大隻宜聲東擊西，乘其不備，至於低有地道，高有云梯，或束蒿以填壕溝，或囊沙以作階級，此其較大也。今則九十六裡之城，合圍既力有不逮，其餘各法，自五月以來，先後屢用，雖有小獲，終未能破城大創。
咸豐帝道：“一派胡言，似此等打仗，何日攻克。金陵不克，汝亦無顏見朕，朕亦不願聞汝名。”
向榮被責，惱，令張國樑領精兵三千，瀝血飲酒，誓師破城。
張國樑道：“真攻？”
向榮道：“泱泱九十六裡城牆，自何下口？零星詐攻，以待時變。”
張國樑道：“吾區區三千之兵，攻偌大之金陵，實乃虛慌。金陵城外賊之營壘多多，看我拿來。”
言罷，親率一千捷勇，殺入太平軍大營，毀營盤十餘座，斬殺太平軍千餘。
南營某刀筆吏贊曰：殺賊江上江水紅，向公黑虎張公龍；鐘山大戰疾風雨，張公生龍向公虎。
咸豐帝聞之喜諭：時大江南北諸軍，賊所尤畏者，惟張國樑一人也。張將國樑，朕之長城也，着部優敘。另，勝保勿負欽任，務必督促山西諸軍，誅林鳳祥逆匪於太行山以西。