唐武德四年，春，三月。秦王李世民將飛虎軍三千，大破竇家軍先鋒石瓚、殷秋所部三萬。趁亂詐取虎牢關。石瓚戰沒，殷秋被俘，參軍張說率餘衆投降。竇家軍三萬先鋒，逃回去給報信者不足二百。
此番南下救鄭，竇家軍共計出兵近二十萬。可充當前鋒的三萬人連個水泡都沒冒起來，就被李世民帶領三千騎兵給全殲了，對士氣的打擊不可謂不大。諸將對前途感到憂心，紛紛勸說竇建德北返，暫且避開李世民鋒芒。隨後或者採取圍魏救趙的故伎，攻打大唐的上黨、太原一帶，逼李世民從洛陽撤兵。或者沿黃河北岸直趨關中，威脅唐軍的後路。但竇建德堅持認爲：大夏和大鄭護衛犄角，脣亡齒寒。鄭今倒懸，亡在朝夕，如果此刻舍之而去，是畏敵而棄信的小人行爲，必將遭到天下豪傑恥笑。是以無論如何不能半途而廢，寧可多遭受一些損失，也要把李世民的注意力從洛陽城下吸引過來。
諸將無奈，只得追隨竇建德在虎牢關外苦戰。李世民有了雄關做後盾，又陸續得到了李世績（徐茂公）、李元吉的增援，打起仗來越發得心應手。接連數戰，都以毫無懸念的優勢擊敗竇建德。殺其麾下善戰猛士十餘人，生擒其心腹王琬。又派遣王君廓抄到竇家軍背後，切斷糧道，活捉竇家軍運糧官張青特。
河內大總管王君廓乃山賊出身，最擅長的就是攔路搶劫。竇建德幾番從河北調糧，十回當中，倒有七、八回落到了他手裡。李世民知道王君廓愛財，對所獲糧草不聞不問。如此一來，王君廓愈發積極主動，竟然把竇家軍的驛道也給切斷了。竇建德軍中諸將與後方的家書，也陸續落到了唐軍之手。其中不乏提到前方虛實之言，被李世民綜合起來，看了個清清楚楚。
堪堪僵持到了五月，長孫無忌又給李世民獻了一計。利用的信件，僞造後方家書數封，逼着信使送到竇建德軍中。竇家軍將領不辨真僞，打開家信，見裡邊寫着北方大亂，羅藝率領虎賁鐵騎南下，已經攻陷了河間郡全境，兵鋒直指大夏國都城洺水。趕緊向竇建德彙報。竇建德遠征在外，來自後方音訊時斷時續，見信後也覺得心虛。迫於形勢，終於決定傾盡全力再與唐軍血戰一次。戰過之後，無論救不救得洛陽，也抓緊時間返回河北。以免老巢被端。
雙方在汜水兩岸隔河佈陣，竇家軍人多勢衆，軍令卻始終不能統一。因此諸將只得各帶自家兵馬在河東岸一字排開，蔓延數裡。李世民領軍列陣在汜水之西，看到竇家軍擺出如此架勢，笑了笑，低聲對秦叔寶等人耳語道：“那天聽程名振說，竇家軍離開老巢就變成一條蟲，我還有點兒不信。今天見到，果不其然。咱們先不着急過河，在西岸跟他耗上一會兒。等把他們耗得不耐煩了，再將其一鼓作氣拿下！”
秦叔寶咧了下嘴，冷笑着道：“兵無戰心，將無鬥志。雖人多勢衆，不過是一羣待宰羔羊！要戰，就想辦法將竇建德也生擒活捉。省得讓其回到老巢，再給咱們增添麻煩！”
長孫無忌輕輕點頭，笑着附和：“估計竇家軍士卒早就不想打下去了，礙着竇建德的面子而已。待會兒先派些輕騎過河試試，如果他們互相觀望，而不是奮勇爭先的話，今天這仗，咱們就贏定了！”
參軍杜如晦亦笑，指點河西，低聲建議：“要打，就直接攻向竇建德本軍。諸將起初必互相推諉不救，待竇建德中軍遇險，又肯定方寸大亂。我軍趁勢擊之，必破其陣！”
驃騎將軍宇文士及與竇建德有滅門之仇，主動請纓做先鋒。李世民想了想，笑着問道：“我只能給你三百人，夠麼？”
宇文士及年齡不大，卻也是當年隨軍征討過遼東的百戰老將，笑了笑，低聲迴應道：“三百人是少了點兒。但替殿下探路，卻也富富有餘！”
李世民大笑：“我不用你探路，把竇建德的陣腳衝亂即可。這河沒多深，你從南邊悄悄趟過去。瞅準時機，直撲竇建德中軍。待他全力去應付你，我立刻領軍過河！”
宇文士及抱拳肅立，領命而去。不一會兒，從自己的隊伍中點出三百老兵，悄悄地繞向南方。河對岸的竇家軍紛紛傳言打完了今天這仗就拔營回家，因此人人都沒有戰意。看李世民這邊始終不發起進攻，以爲對方自覺兵力對比懸殊，今天不敢過河了。紛紛放下兵器，拿着頭盔去舀河水。竇建德見狀，怕唐軍趁機渡河，趕緊傳令把衆將招到中軍來，再度強調軍紀。還沒等他把話說完，宇文士及已經迂迴而至，冒着倉促發出的羽箭，直撲竇建德的中軍大帳。竇家軍士卒猝不及防，根本無法攔阻宇文士及的攻勢。眼睜睜地看着三百騎兵如刀一般殺到了中軍帳外。竇建德被逼得手忙腳亂，只好命令諸將各自回去約束隊伍，自己帶領親衛迎戰宇文士及。
好不容易將宇文士及的偷襲應付過去，河岸邊又是一片大亂。李世民帶領秦叔寶、羅士信、尉遲敬德、程知節等人趟過汜水，再度奔着中軍撲來。竇家軍諸將剛剛回到各自的隊伍當中，根本組織不起有效的抵抗。士卒們又思鄉心切，巴不得早日結束戰鬥回家。因此，形勢發展正如杜如晦所料，無人救援竇建德，幾乎眼睜睜地看着竇建德的中軍在唐家輕騎的衝擊下，不斷後撤。
轉眼之間，河東岸的竇家軍主陣已經被李世民等人衝出了一道半里寬的缺口。李道玄、侯君集、長孫無忌趁機紛紛渡河，分兵數路，從各個角度朝竇建德發起猛攻。竇建德帶領自己的嫡系左支右絀，手忙腳亂。一刻鐘後，軍陣居然被李世民衝了個對穿。
“展旗！”沒等李世民決定是否回頭再度衝陣，身上多處受傷的宇文士及大聲提醒。想當年，同樣是於虎牢關附近，他與另外一名夥伴也是以輕騎衝陣。關鍵時刻，殺穿對方主陣，在敵後豎起了戰旗，一舉摧垮了敵軍的抵抗意志。
“展旗？”李世民雖然沒有同樣的閱歷，反應卻異常地敏銳。微微一愣，轉瞬便明白了宇文士及的意思。從侍衛手中奪過自己的帥旗，高高地舉了起來。
“竇建德敗了，竇建德垮了！”程知節扯開嗓子大喊，唯恐別人看不見旗幟所在。“竇建德敗了，竇建德垮了！”秦王府侍衛紛紛響應，一齊扯開嗓門，將謊言傳遍了全軍。
“趕快把孤的帥旗豎起來！”竇建德聞聽周圍的叫喊，立刻感覺到了事情不妙。趕緊命令親兵將剛剛被敵軍趁亂砍倒的帥旗重新舉起。羅士信恰好領着一隊騎兵殺到附近，看見竇建德的帥旗，不由分說，提槊朝着帥旗猛衝。竇建德的親兵從沒見過如此兇狠之人，被殺得東倒西歪。數息之間，羅士信已經距離竇建德的帥旗不足二十步，舉起長槊，奮力投將過去。已經被人血染紅的長槊在空中畫出一道閃電，“咔嚓”一聲，將竇建德的帥旗的旗杆砸成了兩段。
“拿命來！”毀掉了敵方帥旗，羅士信依舊覺得不滿足。拔出橫刀，繼續奮勇衝殺。竇建德的親衛阻攔不住，被逼得不斷後退。周圍諸將有心來救，卻看不清竇建德的具體位置，耳邊又一遍遍聽見唐軍的歡呼吶喊，心裡着慌，居然真的把謊言當成了事實。
爲將者乃三軍之膽。將領們對形勢都感到絕望了，尋常士卒豈會再跟敵人死拼？當下，紛紛棄了兵器，滿山遍野亂跑。李世民趁勢揮軍猛攻，先破竇建德，再破楊公卿、高雅賢、王小胡、董康買。將十七萬竇家軍像羔羊般，汜水東岸在一直趕三十里外的牛口渚。竇建德受傷，被李世民帳下車騎將軍白士讓、楊武威二人生擒活捉。十七萬竇家軍被俘五萬餘衆，其餘盡數逃散。
激戰過後，李世民派人打掃戰場。才霍然發現，當日敵我雙方戰死者一共才三千掛零，二十萬竇家軍，居然只戰死了兩千餘人，就全盤崩潰了。
將竇建德打入囚車，李世民立刻帶領勝利之師再次威逼洛陽。王世充苦盼援軍，望眼欲穿。忽然聽聞士卒彙報唐軍再度向洛陽發起了進攻。起身到敵樓一看，發現自己苦盼的盟友竇建德正坐在囚車內，滿臉悲憤地望着城頭。
登時，王世充心神大亂，不敢再困守孤城，與諸將商議向南突圍。除了單雄信外，無人願意跟他一起走。王世充自知大勢已去，嘆了口氣，命令部將打開城門，向李世民投降。親自捧着地圖印信，百官名冊，獻給李世民，只求免予自己一死。
李世民笑納之，領軍進入洛陽城內。此日，不過是武德四年五月初九。距離李世民奪取虎牢關還不足三個月。