當朱元璋的勢力向南方發展的時候，首先遇到一個強大的敵人是陳友諒。陳友諒原是徐壽輝起義軍的部將，後來他謀殺了徐壽輝，自立爲王，國號叫漢。他佔據了江西、湖南和湖北，地廣兵多，建立了一個強大的割據政權。陳友諒一心想併吞朱元璋佔領的地盤，公元1360年，他率領強大的水軍，從採石沿江東下，進攻應天府。
朱元璋趕忙召集部下商量對付漢軍的辦法。有的說，跟漢軍的力量相差太大，不如趁早投降；有的主張逃到鐘山(在今南京)死守；也有人主張拼一死戰，如果失敗，再逃也不晚。大家七嘴八舌，議論紛紛，只有新來的謀士劉基站在一邊，一聲不吭。
朱元璋猶豫不決，散了會，把劉基單獨留下來，問他有什麼主意。劉基說：“我看那些主張投降和逃走的人就該殺!”
朱元璋說：“請問先生有什麼辦法打敗敵人?”
劉基說：“敵人遠道來侵犯，我們以逸待勞，還怕不能取勝?您如果多用財物賞賜將士，再用一點伏兵，抓住漢軍的弱點痛擊，要打敗陳友諒就大有希望。”
朱元璋聽了劉基的話，滿心喜歡。兩個人又商量了一陣，把計策定了下來。
朱元璋的部將康茂才跟陳友諒是老相識。朱元璋把康茂才找來，對他說：“這次陳友諒來進攻，我要引他上鉤，沒有你幫助不行。請你寫封信給陳友諒，假裝投降，答應做他的內應；再給他一點假情報，要他兵分三路攻打應天，分散他的兵力。”
康茂才說：“這事不難。我家有個守門的老僕，給陳友諒當過差。派他送信去，陳友諒準不會懷疑。”
康茂才回到家裡，按照朱元璋的吩咐寫了信，連夜叫老僕趕到採石，求見陳友諒。陳友諒見了老僕送來的信，果然並不懷疑，問老僕說：“康公現在哪裡?”
老僕回答說：“現在他帶了一支人馬，駐守江東橋，專等大王去。”
陳友諒連忙又問：“江東橋是啥樣子?”
老僕說：“是座木橋，容易認得出來。”
陳友諒跟老僕談了一陣，吩咐左右擺上灑菜，讓老僕飽飽地吃了一頓，纔打發他回去。臨走的時候，陳友諒對老僕說：“你回去跟康公說，我馬上就去江東橋，到了橋邊，我叫幾聲‘老康’，請康公馬上接應，”
老僕回去後，把陳友諒的話全向朱元璋回報了。朱元璋連聲叫好，當夜派人把江東的木橋拆掉，改成一座石橋。
朱元璋從陳友諒的逃兵那兒得到情報，弄清楚他們進攻的路線，就讓大將徐達、常遇春等分幾路在沿江幾個重要關口埋伏了人馬。朱元璋親自統率大軍守在盧龍山(今南京獅子山)，佈置兵士準備好紅黃兩面旗幟，規定了信號：舉起紅旗就是通知敵人已經到來，舉起黃旗就是命令伏兵出擊。一切都準備好了，只等陳友諒自投羅網。
陳友諒自從老僕走後，立刻下令全體水軍出發，由他親自帶領，直駛江東橋。哪想到到了約定地點，竟沒見木橋，只有石橋。陳友諒的部將們都起了疑心。陳友諒想，別管他是石橋還是木橋，只要找到康茂才就好，他就到石橋旁邊，一連喊了幾聲“老康”，也沒人答應。陳友諒這纔想到自己上了當，急忙命令船隊撤退。
朱元璋發現敵人中計，立刻叫兵士舉起黃旗，發動進攻。一霎那間，戰鼓齊鳴，岸上伏兵一起殺出，水港裡的水軍也加入戰鬥。
陳友諒受到突然襲擊，幾萬大軍一下子亂了套，被殺死的和落水淹死的數也數不清，兩萬兵士、一百多艘戰船被朱元璋的將土俘獲。陳友諒在部將保護下，搶了一條小船，總算逃了命。
這一仗打得陳友諒大傷元氣。朱元璋的聲勢卻越來越大。陳友諒哪肯甘心，他養精蓄銳，決心要報這個仇。過了三年，他造了大批戰船，又帶領六十萬大軍，進攻洪都（今江西南昌）。
朱元璋親自帶領二十萬大軍援救洪都，陳友諒才撤去包圍，把水軍全部撤到鄱陽湖。朱元璋把鄱陽湖出口封鎖起來，堵住敵人，決定跟陳友諒在湖裡決戰。
陳友諒的水軍有大批戰船，又高又大，一字兒排開，竟有十幾里長；朱元璋的水軍，卻盡是一些小船，論實力跟陳友諒差得多。雙方連續打了三天，朱軍都失敗了。
部將郭興跟朱元璋說：“雙方的兵力相差太遠，靠打硬仗不行，非用火攻不可。
朱元璋立刻命令用七條小船，裝載着火藥，每條船尾帶着一條輕快的小船。那天傍晚，正好颳起了東北風，朱元璋派了一支敢死隊駕駛這七條小船，乘風點火，直衝陳友諒大船。風急火烈，一下子就把漢軍大船全部延燒起來，火焰騰空，把湖水照得通紅。陳友諒手下的將士不是被燒死，就是被俘虜。
陳友諒帶着殘兵敗將向鄱陽湖口突圍。但是湖口早己被朱元璋堵住。在陳友諒突圍的時候，朱軍一陣亂箭，把陳友諒射死了。
朱元璋消滅了南方最大的割據勢力陳友諒以後，自稱吳王。
自從劉福通犧牲以後，朱元璋把小明王接到滁州，名義上還接受小明王的領導。到了這時候，他做皇帝的思想膨脹起來，覺得留着小明王對他是個障礙。公元1366年，他用船把小明王接到應天，趁小明王在瓜步(今江蘇六臺東南）過江的時候，派人暗暗鑿沉了船，把小明王淹死了。
第二年，朱元璋消滅了張士誠割據勢力，接着，命令徐達爲徵虜大將軍，常遇春爲副將軍，率領二十五萬大軍北伐。過了兩個月，徐達的軍隊旗開得勝，佔領了山東。公元1368年正月，朱元璋在應天即位稱皇帝，國號叫明。他就是明太祖。
明軍乘勝進軍，元兵節節敗退。這年八月，徐達率領大軍直搗大都，元順帝逃往上都。統治中國九十七年的元王朝終於被推翻了。