楊廣萬萬沒想到的是，李世民竟然狂妄到首先對自己發起進攻。就在楊廣帶着天興軍順着通濟渠趕回東都時，唐軍兵分三路開始了南征。
東路由長孫無忌統領，率五萬大軍自濮陽渡河南下，直取汴州。中路由李世民親自率領自孟津南渡黃河直逼東都洛陽，西路由尉遲恭統領從河東西渡黃河，直取長安。雖然唐軍來勢洶洶，但是隋軍卻有着嚴密防禦部署以及強大的黃河水師。
在北方造船業遠不如南方，唐軍難以打造大量適合在黃河水道上行駛的戰船以及培養大量水手。但對於擁有江淮的隋軍這個問題一點都不存在，大量適合黃河水道的戰船以及訓練有素的水手早就源源不斷的通過通濟渠進入到黃河。
楊廣回到東都沒多久。唐軍就因爲後方糧草補給難以運輸到前線，導致李世民的東西兩路大軍過河不久就陷入進退失據的困境之中。
而李世民親率的中路大軍就更別提了，連河都過不了。與段達統帥的五萬隋軍府兵和一萬驍果禁衛隔在孟津隔着黃河對峙。李世民恐日久生變，不得已，下令讓東西兩路唐軍分別撤回河北，河東。
他這個決斷可謂及時，只要再晚幾天，楊廣就會做出部署，完成對東西兩路唐軍的全面合圍。
但是，僥倖逃出生天的東西兩路唐軍在隋軍乘勢追擊下依舊傷亡不小，在過黃河過到一大半時又被趕來的隋軍水師截殺，沒能過河的全部被隋軍斬殺或俘虜。
唐軍對隋軍的攻擊就這樣被輕易瓦解掉了，李世民一個戰略目標都沒達到，甚至連個隋朝糧倉都未能攻克下來。他只得沿着黃河匆忙做了防禦部署，而後唐軍主力分兩路返回晉州和大名。
返回晉陽的李世民清點兵力後更是鬱悶不已，此次南征不僅無功而返，還損失了近四萬唐軍將士。不過，讓他感到慶幸的是，唐軍中最精銳的五萬玄甲軍和長林軍卻是沒有絲毫損失。他自信這玄甲軍中的俱裝鐵騎，陌刀兵，還有長林軍中的刀盾手，強弩兵乃天下第一強兵，這也是他向隋軍發起主動進攻的底氣所在。
楊廣並沒有給李世民喘息的機會，僅僅幾個月之後，大業十六年的初秋。楊廣親率三萬天興軍，兩萬驍果禁衛北渡黃河討伐李唐。
同時爲了保障後方以及側翼安全和穩定，牽制住唐軍東西兩翼兵力。楊廣令段達與王世充各自領兵兩萬隋軍精銳分別從東邊的濮陽與西邊的郃陽渡過黃河，深入唐軍腹地襲擾。因爲是襲擾做戰，所以他們並沒有太大的後勤負擔。作戰形式通常是，每個兵士一次帶夠十日的特製壓縮乾糧，然後向唐軍腹地進擊五日行程，大約五六百里的路程，待所帶給養消耗一半時再折返到黃河岸邊，在那裡可以得到隋軍黃河水師提供的補給。
楊廣與衆將率五萬大軍渡過黃河後，幾乎沒遇到像樣的抵抗，僅在大軍剛剛渡河完畢時與迅速集結起來的三萬唐軍在河內郡爆發了一次大戰，這次戰鬥僅持續了半個時辰，唐軍就被全面擊潰。除了近一萬被斬殺外，其餘唐軍皆伏地而降。
此戰之後，河內郡各縣城池望風而降，甚至有遠在魏郡的縣城官長前來主動獻降。但是楊廣並沒有向東走魏郡再北上取大名，而是在佈置好河內郡的駐軍和鞏固好防禦後，直接率領五萬精銳穿過太行白陘，進入長平。
這次行軍，穿越兩百里的太行白陘是楊廣最爲擔心的一段路程。
雖說白陘在太行八陘中是最爲好走的一條陘道，但它畢竟是山路，沿途穿越險關要隘峽谷無數，這些地方都是設置伏兵的好地方。因此隋軍在此行軍，幾乎是走一步看一步，步步爲營向前推進，前方偵查確保沒有敵人設伏後方才通過。
因此區區兩百里路程，就讓這五萬隋軍整整行進了十天。沿途每日設置的營壘剛好可以成爲後續駐防部隊的據點。爲了保障這條後勤生命線的安全，楊廣破例從天興軍中抽調了一千背嵬衛與後續的隋軍一起駐守在這十個營壘據點之中。
當楊廣看到長平郡相對平坦的盆地原野時，知道自己已經安全穿過太行山脈，他長長的舒了一口氣。整個陘道上，只有若干唐軍的崗哨和百餘人規模的小型營寨，別說伏兵，連成建制的兵力都沒有部署。這些崗哨和小型營寨被沈光所率的驍果軍先鋒營很輕鬆的就拔除了。
楊廣有點不明白，李世民爲何如此輕視白陘，這可是一夫當關萬夫莫開之所在。不過經過一番認真思考後，楊廣大概理解了李世民的苦衷。
作爲李世民，他並不知道楊廣的主攻方向在哪裡，尤其是在東邊王世充和西邊段達兩路對唐軍腹地襲擾的隋軍干擾下，楊廣的主攻方向更有迷惑性。所以楊廣是先打河北再打河東不得而知，若是打河東主力是穿越太行山脈進入河東，還是從關中的郃陽渡過黃河進入河東也不得而知，即使知道楊廣是穿越太行山脈進入河東，是從太行八陘哪一陘進入河東還是不得而知。
同時李世民應是想畢其功於一役，試圖一戰就殲滅隋軍的精銳主力。因此，李世民是希望楊廣在深入唐軍腹地補給線拉長後，再集中兵力與楊廣決戰。所以他不會將兵力攤開防禦。
楊廣的推測完全正確，此時李世民已在晉州的上黨郡集結了整整二十萬唐軍，其中包括玄甲軍，長林軍五萬人。上黨郡的地形山地平原參差不齊。正是大規模會戰時，有利於可先行預設陣地的守方之所在。李世民花費了十幾天時間在此精心部署兵力，構築營壘，就等隋軍主力鑽入這個陷阱。當他聽到前方斥候傳報，是楊廣親領大軍御駕親征時，欣喜若狂，似乎天下已是唾手可得。
五天後，三萬天興軍和兩萬驍果禁軍的前鋒已經進入上黨。雙方最先接兵交戰的是小股偵騎斥候。隨着這種小股遭遇戰越來越密集的發生，楊廣心裡也明白唐軍主力就在前方，一場大戰即將到來。