東晉滅亡以後，分裂多年的中國又重新統一了。這次統一是從隋文帝消滅陳朝開始的。
南北朝時期北周的大貴族楊堅在公元581年2月，逼迫年幼的周靜帝退位，自己當上了皇帝。他就是隋朝的第一個皇帝隋文帝。隋文帝親眼看到北周殘暴的統治不得人心，惟(wéi)恐重蹈(dǎo)覆(fú)轍(zhé)。所以，他認爲只有謹慎地處理政事、提倡節儉、實行廉政才能安撫民心。隋文帝自己就是以節儉著稱的。有一次，他配止痢(lì藥)要用一兩胡粉，竟然找遍宮中也沒有找到；又有一次，他想找一條織成的衣領，宮中也沒有。他車馬具壞了，不去做新的，而是派人去修補。平時，他就非常留意民間疾苦。有一年，關中鬧饑荒，他看到百姓吃糠(kāng)拌豆粉，就拿來給大臣們看，責備自己沒有治理好國家，下令饑荒期間自己和大臣們都不許吃酒肉。他曾經教訓太子楊勇說：“自古以來，沒聽說有奢侈(shěchǐ)腐化而能長治久安的。你是太子，應當注意節儉。”另一方面隋文帝在國內又進行了許多政治改革，比如減輕賦稅(fùshuì)，廢除了殘酷的刑罰，推廣均田制等，隋朝的經濟逐漸繁榮起來了，北方的生產有了很大的發展。
公元589年正月22日，晉王楊廣進入建康城，將陳滅亡。隋文帝清楚地認識到，打天下不易，坐天下更難。他很注意皇親國戚的行動，他們要是犯了法，也一律嚴懲。他的三兒子秦王楊俊覺得自己是皇子，又在滅陳的時候立下了戰功，生活越來越奢侈，根本不把法律放在眼裡。他指使手下的人放高利貸，敲詐勒索，使許多小官吏和老百姓傾家蕩產。他模仿皇宮建造自己的宮殿，用外國進貢來的香料塗抹牆壁，用美玉、黃金裝飾臺階，還蒐羅許多美女，日夜尋歡作樂。隋文帝知道了這些情況，非常生氣，下令罷免了楊俊的官職，把他禁閉起來。將軍劉升去說情：“秦王還年輕，這算不了什麼大錯，陛(bì)下就饒了他吧!”隋文帝嚴肅地說：“法不可違，不論什麼人都得遵守國家的法律。”過了幾天，大臣楊素又來勸隋文帝。隋文帝說；“皇子和百姓一樣只有一個法律，照你們的說法，爲什麼不另立一個皇子?任何人犯罪，都得依法制裁(cái)！”沒過幾天，楊俊病死了。他手下的人請求給楊俊立個石碑，隋文帝不同意，說：“想要留名，在史書上記一筆足夠了，何必立碑！”隨後，吩咐把楊俊府中奢侈華麗的裝飾全部毀掉。
隋文帝對皇親國戚、王子、大臣比較嚴；對百姓卻比較寬。他下令制定“隋律”，廢除了前朝的許多殘酷刑罰。
公元600年，齊州有個叫王伽的小官押(yā)送70多個罪犯去京城長安。走到滎(xíng)陽的時候，王伽見這些罪犯頭頂太陽，頸套枷鎖，實在痛苦，便對他們說：“你們犯了國法，受了處分，這是罪有應得。可是，你們還給押送你們的民夫添了痛苦，讓他們陪着你們風吹雨淋太陽曬，你們忍心嗎?你們自己戴着枷鎖，走這麼長的路，也很不容易，我想把你們的枷鎖去掉。咱們約定時間，到長安城門集合，你們能做到嗎?”罪犯們都是感動，一齊跪在王伽面前說，“大人的慈悲，我們終生難犯，王伽便放了罪犯，自己帶着隨從向長安進發。約定的日期到了，罪犯們都按時來封城門口，一個也不缺。隋文帝所說這件事以後，馬上召見王伽，對他大加讚賞，還把罪犯們召進宮裡，設宴招待他們，並赦(shè)免了他們的罪行。隨後下了一道詔書，要求各級官吏學習王伽，用感化的辦法管理百姓。
隋文帝重視有真才實學的人。他對於那些提出正確建議的人，即使是批評他的，也都加以重用。太子楊勇生活越來奢侈，常常大擺宴席，讓家臣唐令則彈琵(pí)琶(pó)唱歌，還叫後宮的美人出來跟唐令則學彈琵琶。隋文帝聽說後，非常生氣，把楊勇手下的大臣訓斥了一頓；大家都嚇得不敢吭聲，只有李綱義正詞嚴地說：“太子不過是個中等才能的人，可以變好，也可以變壞，就看什麼人輔(fǔ)佐(zuǒ)他了。陛下派去唐令則這樣的家臣，怎麼能不把太子帶壞呢?我認爲這是陛下的過錯。”隋文帝一聽，驚住了，說；“你的話雖然有道理，可是我選擇你這樣的人去輔佐他，他都不知親近、重用，即使再派其他的人，又有什麼用呢?”李綱馬上又說：“我所以不被重用，就是因爲小人包圍了太子。如果陛下早把唐令則這類小人除掉，怎麼知道太子不會重用我呢?責任還是在陛下。”隋文帝聽了，很不高興，一甩袖子退朝了，沒想到，過了幾天，隋文帝反倒任命李綱作了尚書右丞。
由於隋文帝的廉政和廣大農民的辛勤勞動，政府的倉庫都裝得滿滿的。一直到隋朝滅亡以後20年，隋朝倉庫的糧食還沒有用完。