經過二個多時辰的密謀，許乃釗和吉爾杭阿終於被吳健彰說服，三人又趕到法國領事館。知道二人來的目的後，布爾布隆又讓人請來英國領事阿禮國和美國新任的駐華專員麥蓮。
雙方開始商談起來。
也許是因爲看到了洋人武器的威力，吉爾杭阿是真的被嚇壞了。
面對洋人們咄咄逼人的要求，許乃釗還想拒絕，但吉爾杭阿已經開始亂了陣腳，支支吾吾地怕惹怒洋人。而擔任翻譯的吳健彰更是滿口答應，對於許乃釗的拒絕，被他翻譯成熱烈贊成，非常同意了。
洋人自然大喜。阿禮國牽頭，拿出早就準備好的協議，建議吳健彰當初簽名，確定下來。
吳健彰一看，這是一份關於上海海關關稅及租界的英美法清四方協議。
協議中第一部分內容規定，由英、美、法三國領事各派“稅務司”一人，管理上嗨海關。協議中還詳細地說明了管理上嗨海關的具體方法，滿清的江蘇巡撫衙門和上嗨道道署共同和三國簽訂“海關征稅規則”九款，由三國各派一人，組成“關稅管理委員會”，直接管理上嗨海關，於是，上嗨海關的主權就這樣被出賣給了洋人。
接着，四方協議第二部分內容是關於租界問題的。
江蘇巡撫衙門和上嗨道道署承認“上海英、美、法租界地皮章程”，不但承諾不單方面主動漲地皮的租金，還充許英法美三國在租界內建立衙門和衙役捕快等政權和執法機關，租界內的中國人甚至大清官員，也要執行租界的法律。
這樣一份將租界變成國中之國的喪權辱國的協定，中英兩份文件，就被吳健彰給簽署了。
作爲回報，英美法三國同意出面，勸說上嗨城中的小刀會叛軍交出縣城。
次日上午，英美法三國派出英國駐上嗨副領事威妥瑪作爲代表，進入上嗨城中，同劉麗川等人談判。
威妥瑪說的是隻要義軍撤出上嗨縣城，可以到租界內，由他們洋人出面，要求滿清赦免衆人的叛亂之罪。
對於這種要求，無論是劉麗川還是陳阿林，都完全不能接受，談判自然沒有什麼結果。
威妥瑪無奈回到租界。下午，領事阿禮國又親自出面，只在前廳坐了半天的冷板櫈，根本沒人出來理會了。最後，阿禮國不耐煩地吵鬧起來，劉麗川和陳阿林這纔出面與他會談。
劉麗川的想法是同意放棄上嗨，進入租界，由洋人出面將他們送往太平天國的地盤，這樣，他至少能在太平天國撈個侯爺噹噹。但他還沒說出口，陳阿林便表態了：堅決不同意離開縣城。
此時，陳阿林整合了李咸池等人的手下，在義軍中的力量已經居於首位。他雖名義上還是排名第二，但實際影響已比劉麗川還要大。陳阿林不願離開上嗨，要堅守縣城，劉麗川也無可奈何。
阿禮國見說不通義軍，便退而求其次，又掏出一份中立聲明，要求劉麗川、陳阿林對起義軍發佈告示，“禁止持械穿越租界，違者嚴懲”。
小刀會首領隨即擬定這一佈告，最後經英方覈定，告示只禁止持械經過楊涇浜以北的租界地區，沒有包括洋涇浜以南的法國租界，法國公使布爾布隆對此強烈不滿，他認爲這有損於法國的利益，是對法國的“蔑視”和侮辱，立即與劉麗川和陳阿林交涉，要求修改通告。劉麗川和陳阿林一方面爲維護起義軍的權益，另一方也只是重視英國的意見，對法國人並不大感冒，便斷然拒絕再作更改。
而正在此時，咸豐對於江蘇巡撫許乃釗圍剿上嗨月餘，仍未攻克，十分惱怒，在許乃釗的關於上嗨攻城戰況的奏報上，直接批閱道：“賊勢並未漸窮，克復實無把握。許乃釗你日久無功，藉此敷衍，甚屬可惡。”
許乃釗越發惶恐。整日惴惴不安，急着想早點攻城。
次日夜裡，許乃釗親自督陣，開挖地穴坑道，填滿上千斤火藥，然後封閉坑口，安放好引火線。次日凌晨，清軍點燃引火線，隨着一聲巨響，磚石土塊飛向半空，兩丈多的城牆被轟塌了，城內幾幢民房也被地被炸燬，上百名清軍從缺口處衝進上嗨城。
但沒想到的是，城內居然早就防備着城外利用地穴之法攻城，在城牆後面，開挖了寬闊的內壕，沿壕溝內佈滿釘石，擋住了清軍的前進道路。
被堵在城牆缺口處的清兵，被義軍在壕溝另一側集中射殺，上百名清兵除了逃走了二十餘人，其餘的都慘死溝內。
清兵再次想從缺口衝進城裡，但兩邊城牆上的起義軍的磚石紛紛砸下，加上壕對面的火槍射殺，又打死清兵數百。
清兵只能退卻。但許乃釗急了，他和吉爾杭阿、吳健彰三人親自督戰，並宣稱誰最先攻入城中，賞銀三萬兩，而畏縮退卻者當場立斬，逼着清軍兵勇衝殺。重額賞賜下，清兵士氣高漲，便要殺入城內。
這時，天上忽然下起大雨，清軍一下便被淋得如落湯雞，兩腳陷在泥中，火繩火藥也被淋溼，槍炮失去作用，清軍只得撤退。
又一次攻城不利，許乃釗鬱悶不已！他上書奏報稱，“不欲使逆匪聚抗大兵，致令多戮無辜也”，是上天下雨導致，大軍只能回撤，或許這是天意。
幾天後，咸豐收到信報，大發雷霆！
咸豐認爲，這許乃釗根本就是個飯桶廢物般的無能之輩，虧自己先前還看重他。
又是幾天後，咸豐的一道聖旨抵達上嗨城外。
聖旨中，咸豐斥責許乃釗剿辦叛黨不力，勞師費餉，日久無功，還竟然被洋人所挾制，決定將他革職。但念他雖然無能，還能勤勉辦差，不追究其罪，而是交向榮差遣委用。
最得益的是吉爾杭阿，聖旨中，咸豐擢升吉爾杭阿爲江蘇巡撫。
而吳健彰也被咸豐叱責，罵起“勇夷養賊”以及辦差不利，丟失上嗨城。不過，因爲還要其與洋人溝通，咸豐並沒有將其革職查辦，只是罰沒其俸祿10年，並罰銀五十萬兩。
新任江蘇巡撫吉爾杭阿看見許乃釗的下場，內心也是惶恐不已，決定不失一切代價攻克上嗨城。而吳健彰更是倉惶難以度日，聽到被咸豐責罵“勇夷養賊、辦差不利、丟失上嗨城”等罪名，無論哪一條，都夠他死罪的，但咸豐沒有將他下獄，只是想讓他將功贖罪，攻克下上嗨。
於是，這兩人一拍即合，稍事商議後，便同與城內義軍有仇怨的法國公使布爾布隆碰面。布爾布隆得知兩人來意，大喜，只是稍微提了下要求，將現在的三百畝法租界，擴大爲一千二百畝，便同意與吉爾杭阿合作，一起攻打上嗨城內的義軍。
恰好法國海軍司令辣厄爾上將的手下乘巡洋艦“貞德”號到達上海，有了更多兵力的加入，他心思活躍了起來。對於小刀會義軍，辣厄爾極端仇恨，公然宣稱，“容許叛黨存在便是人類文明的恥辱”。
於是，辣厄爾率領四百餘名法軍，切斷了法租界與上嗨城的交通，並與清軍一道，修築界牆，將另外的英租界和美租界與上嗨城之間的交通全部隔斷。
劉麗川和陳阿林連忙派人向洋人提出抗議，要求英國人出面，協調法國人保持中立。但阿禮國早就被布爾布隆打過招呼，置之不理。
劉麗川急了，再次向陳阿林提出放棄上嗨，突圍前往鎮江府，投奔太平天國。
陳阿林還是不同意，只願堅守上嗨城。他認爲，太平天國完全不可靠，當初劉麗川發了文告宣稱併入太平天國，但天國並無反應。而劉麗川寫信給天王，要求派兵支援，也沒回應。
顯然，太平天國並不待見義軍兄弟。求救無門。
接踵而來的，是更大的麻煩：上嗨城中加上義軍和百姓，一共有近3萬人，每日吃喝消耗糧食無數。
上嗨城中存糧本就不多，全靠浙茳和松江府、蘇州府一帶漕運接濟。但如今上嗨被圍城多日，城中糧食慢慢耗盡。
清軍和洋人的嚴密封鎖，使城內義軍困難重重，他們得不到郊區農民的支援，無法補充兵員，同時也不能獲得外部的糧食與彈藥等物資的接濟，形勢變得非常嚴峻。存糧越來越少，米價不斷上漲，到後來，乾脆沒有糧食可賣了。
到後來，城內小刀會兄弟，不但殺牛馬爲食，而且將所有的貓、狗都殺光吃光了，還開始吃草根、樹皮。
劉麗川和陳阿林兩人都陷入絕望中。
更讓人絕望的是，義軍的彈藥也快告絕了，而且義軍將士們士氣低落，滿腹怨言，已經不大聽從劉麗川和陳阿林的命令了。
上嗨縣城眼見再難守住，再不突圍，義軍將全部葬送在上嗨城內。無奈之下，劉麗川和陳阿林準備召集各路頭領，商議如何突圍，衝出清軍和洋人的封鎖。