在隋末的農民起義中，擁有數十萬人的瓦崗軍佔有河南大部分郡縣，威震中原。瓦崗軍的首領翟(zhái)讓，本來是東郡的一個小官吏，因得罪上司，被叛死罪，關入監牢。有個獄吏很同情他，一天夜裡，獄吏偷偷地把翟讓放跑了，公元611年，翟讓到瓦崗寨，招集一些貧苦人，聚衆起義。聽到這個消息，當地一些年輕人紛紛前來投奔，徐世責(jì)、單雄信、程咬金也在其中。
不久以後，曾經幫助楊玄感起兵的李密也投奔到瓦崗軍中來了。
最初，起義軍人數雖然不多，但軍中大多數是用長槍的漁獵手，所以戰鬥力很強，他們不打擾瓦崗寨附近的貧苦老鄉，而到滎(xíng)陽一帶專門奪取運河裡官府和富商船上的財物。一些小股義軍如王伯當、周文舉等部先後歸附瓦崗軍，聽從翟讓指揮。瓦崗軍越來越壯大，到公元616年，已經發展成爲一支一萬人的武裝。
翟讓雖然有了很多人馬，但是他並沒想到要推翻隋煬帝。有一天，李密對翟讓說：“劉邦、項羽本來是普通百姓，後來卻推翻了秦朝。現在皇上昏庸暴虐，百姓怨聲載道，大部分官軍又遠在遼東。您手下兵強馬壯，要攻下東都和長安，打倒暴君，還不是輕而易舉的事。”翟讓聽了很高興，他和李密商量了一番，決定先攻打滎陽。
瓦崗軍直入金堤關要塞，攻破滎陽周圍各縣，進逼城下，隋煬帝忙派大將張須陀對付瓦崗軍。張須陀是鎮壓農民起義軍的老手，他根本不把瓦崗軍放在眼裡，帶領兩萬多人，氣勢洶洶地向起義軍撲來。翟讓在他手下吃過敗仗，這次一聽說張須陀來了，感到有點兒害怕。李密爲他出謀劃策：“張須陀有勇無謀，驕傲自負，我們利用他的弱點，一定能夠打敗他。您率領主力在正面迎戰，我領幾千人埋伏在滎陽大海寺北面的林子裡，張須陀來了，您就把他引進樹林。”果真，張須陀驕傲輕敵，他指揮人馬掩殺過來，無所顧忌地橫衝直撞。翟讓稍微抵擋一陣，便假裝戰敗，往大海寺北的林子退去。張須陀緊追不捨，路越來越窄，林子越來越密，他一直追進李密佈置的埋伏圈。猛然間只聽一片喊殺聲傳來，瓦崗軍伏兵一衝而出，把張須陀的人馬團團圍住。隋軍全軍覆沒，張須陀被起義軍殺死。
第二年，瓦崗軍去攻打洛陽城附近的興洛倉。興洛倉是個儲糧庫城，城周圍有二十里長，城內有密密麻麻大小不等的糧倉，堆滿了糧食。瓦崗軍兵分兩路，以迅雷不及掩耳之勢攻克興洛倉。瓦崗軍攻克興洛倉後，立刻開倉分糧。饑民們奔走相告，忍飢挨餓的人們從四面八方擁向糧倉，大家手捧黃燦燦的粟谷，感動得熱淚盈眶，許多農民因此紛紛參加了瓦崗軍，瓦崗軍的勢力更加壯大了。興洛倉被攻破，切斷了洛陽隋軍的重要糧源，隋朝廷受到極大的震動，又派出數萬人馬分兩路夾擊瓦崗軍。瓦崗軍事先偵察到隋軍的企圖，然後經過周密佈置，打敗了隋軍。
李密在歷次戰鬥中表現出傑出的領導與組織才能，翟讓覺得自己的才能不如李密，就主動讓位，推舉李密爲瓦崗軍的統帥，以“魏公”爲號，兼任行軍元帥。李密率領瓦崗軍乘勝攻下許多郡縣，隋朝官兵紛紛投降，起義軍勢如破竹。瓦崗軍在圍攻東都時，發佈了討伐隋煬帝的檄文，列舉了他的十大罪狀，號召百姓起來推翻隋王朝的統治，這一舉動把整個中原都震動了。
正當瓦崗軍順利發展之時，李密爲了保住自己在軍中的統治地位，竟殺死了翟讓，從那時起，瓦崗軍開始走下坡路。此時，北方由李淵父子率領的反隋軍隊卻日益強大起來。