在中午十一時左右，幕府軍失守桃配山，剩餘的軍隊全部都退守到南宮山。而這時在桃配山上，已堆積滿了幕府軍士兵的屍體。
中華軍佔領了桃配山之後，立刻就在桃配山上清理戰場，建立陣地，但暫時停止了繼續向南宮山發動進攻。而這時商毅也下令，將自己的主營推進到桃配山去駐紮,同時嚴令左右兩路的倒幕軍，儘快解決幕府軍的山下部隊。
而這時在南宮山上，好不容易從桃配山上逃下來的德川直義，跌跌撞撞的跑到了酒井忠義的面前，放聲大哭，道：“家老大人，都怪我無能，沒有能夠守住陣地，桃配山已經失守了，現在我們該怎麼辦？”
酒井忠義趕忙扶住了下徳川直義，安慰道：“直義殿下，桃配山失守，也不能怪你，實在是中華軍……”
但說着說着也說不下去了，因爲酒井忠義心裡也十分清楚，桃配山失守，也就意味着整個關原戰場的局勢已勢倒向了倒幕軍的一方，這並不僅僅是桃配山的地理位置太重要了，離南宮山的距離也就只有一千多米不到兩千米。而更爲主要的是，中華軍剛纔進攻桃配山戰鬥的整個過程，酒井忠勝和幕府軍的衆將都看得十分清楚，實在是太可怕了。
其實在這一戰中，中華軍根本就沒什麼花哨的戰術，甚致表現得像是並沒有盡多大的力，一付遊刃有餘的樣子，而且幕府軍的抵抗也不能算不努力，但中華軍完全就是憑着絕對的優勢實力，靠着火炮、火槍互相協助，層層推進，步步緊逼，硬吃幕府軍，打得幕府軍有力使不上，幾乎一點脾氣都沒有。而且儘管南宮山比桃配山要高，要大，但能不能抵擋得住中華軍這種步炮協作的一體式進攻，酒井忠勝心裡可是一點底都沒有了。
在此之前，酒井忠勝還幻想着可以依靠兵力上的優勢，依靠幕府軍奮力死戰的武士精神，和中華軍拼一拼，但現在酒井忠勝心裡己經徹底絕望了，畢竟在中華軍的這種戰術面前，就算是幕府軍想拼命也無從拼起。一直到這個時候，酒井忠勝才意識到，而正是由於自己主張對中國強硬的決策，終於惹出了中華軍這樣一個幾乎是根本不可能戰勝的對手。而當初鬆平信綱和阿部忠秋再三勸告自己，放底姿態，不要與中國爲敵，現在看來是多麼正確的決定。
因此現在酒井忠勝心裡也暗暗後悔，爲什麼那時就沒有聽從鬆平信綱和阿部忠秋的勸告，才導致了現在的局面。而且現在整個徳川幕府的精銳已經全部都集中在關原地區，這一戰失敗，也就意味着德川幕府徹底亡滅，也可以說，德川幕府的滅亡，正是酒井忠勝的錯識決策造成的。
而就在這時，忽然又有人來報，原來幕府軍的左右兩翼的陣地都己經被倒幕軍攻破了，這也就意味着現在的幕府軍只剩下了南宮山的陣地，而且陷入了倒幕軍的三面包圍之中。
原來就在中華軍向桃配山發動進攻的同時，其他的倒幕軍也分別向幕府軍的左右兩翼展開進攻，由於中華軍出戰，也讓其他的倒幕軍軍心大振，由其是中華軍進攻桃配山的轟轟炮火，對倒幕軍來說，不諦於是助威的戰鼓聲，因此倒幕軍也都奮起鬥志，又向幕府軍發動猛攻。
前三天的戰鬥，也讓幕府軍的左右翼軍的士氣雖然也有一點振奮，但連戰三天也都巳疲憊不堪，而且損失慘重，加上現在倒幕軍由三路合併成兩路，毎一路的兵力都得到了加強，而且幕府軍的左右翼都已經退守到了本陣中，因此戰局從一開始，就明顯不利於幕府軍的一方。
而且在桃配山的戰場上，中華軍的炮火、槍聲一直響個不停，並不斷的傳來幕府軍不利，桃配山的陣地失守的消息，對倒幕府軍當然是鼓舞，而對幕府軍左右翼的士氣，也是進一步的打擊，因此倒幕軍也越戰越勇。結果經過了一番激戰之後，幕府軍的左右翼的部隊終於支持不住，左右兩翼的主將徳川光圀、阿部正能、阿部正春、鬆平綱隆等人也只好放棄了左右兩翼的陣地，帶領着殘兵敗將，敗上了南宮山。
幕府軍的各路敗軍都退上了南宮山，巳經在南宮山上雲集了十幾萬幕府軍的人馬，但人心惶惶，軍心不安，己經出現了士兵逃亡的現像，而且有不少大名都在想着，自己是不是也該揹着酒井忠勝，從南宮山上撤退。因此各大名們也紛紛找自己熟識的大名商議討論，現在應該怎麼辦？
而這時酒井忠勝把剩的大名叫到了自己的大帳裡，商議對策，在前面的戰鬥中，有一些大名戰死在戰場上，也有少數逃跑，但現在還有一百六十二位大名，也把整個大帳擠得滿滿當當。
酒井忠勝首先道：“各位殿下，現在的局勢對我們非常不利，是我忠勝無能，才導致戰局到了如此一步，到了這一步，我也沒有什麼好說的了，我決意就留守在這裡，和中華軍決一死戰，爲幕府盡忠，而各位都可以自行決定自已的去留，悉聽尊便。”而在說完之後，酒井忠勝又在心裡默默的道：“鬆平大人、阿部大人，看來我只能到另一個世界裡，再向你們道歉了。”
其實早在桃配山被中華軍攻破了之後，酒井忠勝就己經下定了決心,就在戰場上戰死,也決不逃回江戶去,因爲酒井忠勝對德川幕府一直都是忠心耿耿的,當初主張對中國強硬,從心裡來說，也是爲了徳川幕府的利益。包括髮動政變，暗殺了鬆平信綱和阿部忠秋，也並不是出於私怨，而是酒井忠勝認爲他們出賣了幕府的利益。
但現在看來，鬆平信綱和阿部忠秋的意見纔是對的，而正是酒井忠勝的做爲，卻成了導致德川幕府毀滅的主要原因，對於酒井忠勝來說，這是絕對不可原諒的過失，而且也確實無臉再回到江戶去見徳川家綱和徳川幕府的家臣們，僅僅是出於酒井忠勝的自尊心來說，就可以說除了剖腹自盡之外，唯一的後路就是在戰場上戰死了。
而衆大名見酒井忠勝這樣說了，也都覺得一種窮途末路的感覺涌上了心頭，各人的心裡也都各有所想，這時徳川直義立刻站了起來，道：“各位，我願意和酒井大人一起，留在南宮山，和中華軍死戰到底，讓中華軍知道，我們日本人雖然是被打敗了，但也決不會向他們屈服。寧可玉碎，不可瓦全。”
本來也有一些大名心裡都充滿激憤，因此聽了徳川直義的話之後，又有十餘名大名站了出來，都是親藩或譜代大名，都表示願意和中華軍決一死戰。隨後其他的大名也都紛紛站出來，大叫着：“寧可玉碎，不可瓦全。”
而在他們命帶動下，又差不多有一百多位大名都跳起來大喊要和中華軍決戰，當織主要是親藩大名和譜代大名，但也有一些大名對此並不以爲然，主要是支持幕府一方的外樣大名，他們和徳川幕府並沒有什麼太深的感情基礎，相當不想爲徳川幕府盡忠，致少也不是在南宮山上。但在眼前這個場合氣氛中，這樣的話也確實無法說出口，因此也只好沉默不語，當然也有幾個大名也跟着一起咋唬幾聲，心裡卻在盤算着怎樣才能平安的逃出南宮山，而等逃出南宮山之後，下一步又將作向打算。
就在這時，只聽“轟轟”幾聲爆炸的聲音傳來，而且聽起來，就是在南宮山上發生的爆炸，這也表眀，中華軍已經開始向南宮山發動進攻了。
酒井忠勝拔出了腰間的佩刀，大喝道：“走，我們和中華軍拼了。”
而德川直義也拔出了佩刀，大吼道：“玉碎，玉碎。”
其他的大名見了，也一個個熱血上湧，紛紛拔出了佩刀，大叫着“玉碎，玉碎”，跟在酒井忠勝和德川直義的身後，出了大營，各自招集本藩的士兵，準備與中華軍決一死戰。
不過有一片衆情激奮之中，也有一些大名低着頭，貓着腰，悄悄的招集自己的士兵，有的準備在開戰之後，偷偷的離開南宮山。也有人沉不住氣，立刻帶領着士兵這就向東邊撤退。
但在這個時候撤退，顯然是不可能瞞得過去的，因此這些人的行蹤很快就被其他的大名發覺了，於是幕府軍的第一股怒火，首先發泄到這些想偷跑的大名身上。
“你們這是幹什麼？想要從南宮山偷跑嗎？真是懦夫的行爲！可恥，卑鄙。”
“你這是說的什麼說，剛纔酒井大人不是說過嗎？可以自行決定去留，悉聽尊便。我只是想離開南宮山，又不是要投降敵軍，有什麼不對。”
“混蛋，明明就是膽小鬼，居然還找這樣的理由，就算是酒井大人這樣說了，我也不允許，我先殺了你，再去和中華軍決一死戰。給我殺。”
“哎呀，你這是幹什麼……好吧,欺人太堪了，難道我怕你嗎？殺！”
“殺呀！”
“殺。”
這樣的情景，也在南宮山上紛紛上演，而這時幾位幕府軍的主將酒井忠勝、徳川直義等人也沒空去管這些事情，因爲就在幕府軍的衆人進行最後商討的時候，倒幕軍己經攻上了南宮山來。而幕府軍也剛剛完成了最後的決議，於是雙方就在南宮山上展開了最後的激戰。