東晉朝廷忙着鞏固在江南的地盤，只求維持住半壁江山，並不打算出師北伐，收復中原。可是，統治集團中也有一些人不甘心忍受國家殘破的局面，立志要驅走敵人，收復失地，祖逖(tì)就是其中的一個。
祖逖年輕的時候，就懷有雄心壯志，喜歡結交英雄好漢。他和好朋友劉琨談論天下大事，總是慷慨激昂，義憤滿懷。他們互相鼓勵，表示將來一定要爲國家幹一番大事業。
祖逖和劉琨同睡在一張牀上，半夜時雞叫頭遍，祖逖就叫醒劉琨：“你聽聽，這雞叫的聲音多麼激越昂揚，那是在叫人發憤圖強呀!”他們兩人興奮得再也睡不着了，就披衣起牀，拔劍起舞，鍛鍊體魄，準備將來好爲國出力。
在匈奴貴族劉淵、劉聰躍馬橫戈，馳騁北方，攻下洛陽的時候，祖逖也和別人一樣，帶着家屬、親戚、朋友，離開北方南下，到了江南。剛剛建立東晉政權的晉元帝，派祖逖做軍諮(zī）祭酒。這種官職只能提提建議，沒有軍事實權。祖逖住在京口(今江蘇省鎮江市)，爲了準備恢復中原，他招集了許多勇敢而有胸識的壯士，練習武藝。過了一些時候祖逖向晉元帝建議說：“前朝的大亂，是由於皇族內部爭權奪利，互相殘殺，這才使得胡人乘機興兵，擾亂中原，給北方人民帶來深重的苦難。如今北方人民都在反抗胡人，假如陛下能下令出兵，派我北伐，必定會得到天下人的響應，國家的恥辱也就能洗雪了。”晉元帝雖然沒有北伐的決心，但是祖逖這番義正詞嚴的要求，是沒有理由拒絕的，他只得派祖逖做奮威將軍，兼任豫州牧，給了一千人的給養和三千匹布，讓祖逖自己去招兵買馬，製造武器，出師北伐。
條件這樣艱苦，可祖逖並不灰心。他帶領親信部屬一百多人渡江，向北進發。那天，人們聽說祖逖渡江北伐，紛紛來看熱鬧，顯得雄赳赳氣昂昂，滿有信心。壯士們乘船出發了。等船開到江心，祖逖用佩劍敲着船槳，當衆誓師說：“我祖逖如果不能肅清中原的敵人，決不再過這條大江!”祖逖這鏗鏘有力的誓言，在碧波浩淼(miǎo)的江面上久久迴盪。
祖逖渡江以後，進駐江陽，先在那裡起爐鍊鐵，製造武器，又招募了兩千名壯士，然後繼續向北進發。祖逖一刻也沒有忘記自己的誓言，勇敢地跟敵軍展開鬥爭。江北的人民聽說祖逖北伐，都十分歡迎。他們給祖逖送糧送信，配合着打擊敵人。在人民的支持下，幾年之間，祖逖就收復了長江以北黃河以南的大部分地方。
可是，北方還有一部分地區是在十六國之一的後趙國統治之下，後趙是羯族人石勒建立的。祖逖領兵繼續北進，在黃河邊上跟石勒展開了激烈戰鬥。祖逖手下的將領韓潛和後趙將領桃豹，兩軍爭奪一個叫蓬陂(pí，今河南省開封市東南)的緘堡。韓潛佔了東城，住在東臺；桃豹佔了西城，住在西臺。晉軍從東門進出，後趙軍從南門進出。雙方對峙了四十多天，糧食供應發生困難，都感到難以堅持下去了。祖逖爲了戰勝對方，跟韓潛商量，定下了一條計策。
他叫部下用許多麻袋裝上土，假裝是糧食，派一千多人高唱着勞動號子運上東臺；又派幾個人搬運一些真的米袋，故意裝做疲勞的樣子，走到與桃豹交界的路上去休息。桃豹的士兵早就餓急了，見了運米的晉軍，就追趕過來。祖逖的部下故意丟下米袋就跑。桃豹的士兵搶到米，很是高興，立刻埋鍋做飯。他們一邊吃着香噴噴的米飯，一邊談論着祖逖軍隊糧食這樣充足，而他們卻要經常忍飢挨餓。言談之間，不覺流露出不願繼續打下去的情緒，軍心開始動搖。這情況很快反映到石勒那裡。
爲穩定軍心，石勒火速派人組織了一支由一千多頭驢子組成的運糧隊，運送糧食去接濟桃豹。祖逖得知這個消息，立刻派韓潛等帶領一支人馬去襲擊，在汴水(今河南省中牟縣境內)岸邊，打敗了後趙的運糧隊，奪得了全部糧食。桃豹聽說糧食被搶，知道無法堅持，嚇得連夜逃跑了。
祖逖打了許多次勝仗，東晉朝廷爲嘉獎他，升他爲鎮西將軍。祖逖雖然做了將軍，生活卻仍然儉樸。他常常用節省下來的錢，幫助部下解決困難。他和將士們同甘共苦，認真訓練部隊，準備繼續向黃河以北挺進。爲了安定後方，祖逖還積極獎勵農業生產，安排好從匈奴人和羯人統治地區逃來的官兵和百姓。他還認真做好爭取人心的工作，對那些曾經爲後趙做過事的人放手任用，不懷疑他們。那些人都很感激祖逖，遇到後趙的軍隊有什麼動靜，就趕快向祖逖報告，使祖逖能及早準備，迎頭痛擊敵人。
祖逖恢復中原的措施，得到了廣大百姓的真誠擁護。老年人在一塊兒談話的時候，個個豎起大拇指贊楊祖逖。有的說：“我們已經老了，現在又見到了祖逖這樣的好官司，死了也沒有什麼遺憾了。”有的把歌頌祖逖的話編成了歌，到處傳唱。歌詞的大意說：祖逖來了，暗淡的日月星辰重放光芒，我們這些倖存者，不再做胡人的俘虜了，讓我們用葫蘆盛着美酒，再獻上一束乾肉，唱着歌，跳着舞，去慰勞我們敬愛的祖將軍吧！
祖逖的節節勝利，卻引起了東晉統治集團的猜忌。他們不僅不再支持祖逖繼續前進，還派人去監視他，妄圖奪他的兵權。晉元帝司馬睿派尚書僕射戴淵做徵西將軍，掌管青、兗、豫、並、雍、冀六州的軍務，坐鎮合肥，來做祖逖的頂頭上司，戴淵是南方人，雖然有些才能，名望也很高，可是爲人氣量狹小，見識淺陋，是個沒有作爲的人。祖逖看朝廷不信任自己，感到恢復中原是沒有指望了，他的內心痛苦到了極點，憤恨到了極點。在大興四年(公元321年)的九月間，祖逖在憂憤中病死了。
祖逖逝世的消息一傳出，黃河南岸許多地方的人民傷心地放聲痛哭。人們給祖逖建造祠堂，塑了他的像，表示對他永遠懷念。