開大象二年（580年）六月，北周宗室中有實力的趙王宇文招、陳王宇文純、越王宇文盛、代王宇文達、滕王宇文逌都到了長安。相州總管尉遲迥自以爲是北周的重臣宿將，看到楊堅擅政心中不平，於是舉兵東夏。鄖州總管司馬消難、益州總管王謙相繼起兵響應。趙、魏之士，跟從的人非常多，旬日之間，就聚集了十萬兵馬。又宇文胄以滎州、石愻以建州、席毗以沛郡、毗弟叉羅以兗州爲根據地，都響應尉遲迥。楊堅命上柱國、鄖國公韋孝寬出兵打敗了尉遲迥，消滅了對自己有威脅的政敵。司馬消難南逃於陳朝，王謙也被殺死。楊堅的這一勝利，穩定了內部的統治秩序。雍州牧畢王宇文賢及趙、陳等五王，看到楊堅平定了尉遲迥之亂，威望大增，圖謀作亂。楊堅捉拿宇文賢將其斬首，宣佈趙王等人的罪行，下詔五王劍履上殿，入朝不趨，來安定五王之心。接着便以謀反的罪名，先後殺掉了趙王宇文招、越王宇文盛、陳王宇文純、代王宇文達、滕王宇文逌等、清除了鮮卑族中的反對力量。同時又拉攏元諧、元胄、宇文忻等部分鮮卑貴族。這樣就使楊堅集團改朝換代的計劃，不再受到任何阻礙。
北周大定元年（581年）二月，楊堅由隋國公晉封隋王。同月，北周靜帝以楊堅衆望有歸下詔宣佈禪讓。楊堅三讓而受天命，自相府常服入宮，備禮即皇帝位於臨光殿，定國號爲“隋”，改元開皇，宣佈大赦天下。立王后獨孤氏爲皇后，王太子楊勇爲皇太子。降周主爲介國公，五月，楊堅派人害死宇文闡，諡號靜帝，葬於恭陵。皇二年（582年），隋文帝楊堅以長安城“凋殘日久”，在城東南龍首山創建了一座新的都城，名叫大興城。城內有東西二市，東市名都會，西市名利人。因系國都所在，“俗具五方，人物混淆，華戎雜錯。去農從商，爭朝夕之利，遊手爲事，競錐刀之末”，成爲當時最大的商業都市。隋文帝鑑於前此幣制的混亂，鑄造標準的五銖錢，禁用古錢和雜錢。五銖錢“所在流佈，百姓便之”，使貨幣得到統一。開皇時，又規定以古尺一尺二寸爲一尺，以古鬥三升爲一升，以古秤三斤爲一斤，採冀州刺史趙煚所定的“銅鬥鐵尺”，頒行全國，度量衡也統一起來了。至於“除入市之稅”，“罷酒坊，通鹽池鹽井，與百姓共之”，這都有利於商業的發展。楊堅平定叛亂之後，統一天下的對手只剩下南方的陳朝和位於江陵一隅之地的西樑。開皇七年（587年）九月十九辛卯日（587年10月26日），廢西樑後主蕭琮，西樑亡。開皇八年（588年），楊堅以晉王楊廣出六合、楊俊出襄陽、楊素帶領水軍出永安，共五十一萬八千大軍，三路大軍伐陳。八年十二月楊素沿長江擊破陳的沿江守軍，順流而東。但因爲施文卿、沈客卿等扣留告急文書，導致陳朝無法把大軍從建康調出。開皇九年正月二十甲申日（589年2月10日），陳將任忠引韓擒虎攻入建康城，捉住陳叔寶，陳朝滅亡。不久，各地陳軍或受陳後主號令投降、或抵抗隋軍而被消滅，只有嶺南地區受冼夫人保境據守。開皇十年（590年）八月，隋派使臣韋洸等人安撫嶺南，冼夫人率衆迎接隋使，嶺南諸州悉爲隋地。統一全國後，楊堅勵精圖治，開創了輝煌的“開皇之治”。結束了西魏宇文泰的鮮卑化政策，將被改成鮮卑姓的漢人大臣以及府兵將領（以及其所轄府兵）恢復漢姓。另外，廢除九品中正制，改爲五省六曹制，後改稱五省六部制。
隋初經歷南北朝長期的戰亂，民生疲弊困苦，故楊堅接納司馬蘇威建議，罷鹽、酒專賣及入市稅，其後多次減稅，減輕人民負擔，促進國家農業生產，穩定經濟發展。楊堅在位時代之富饒既非重斂於民，究其原因，與全國推行均田制有關。此舉既可增加賦稅，又可穩定經濟發展，且南朝士族亦漸由衰弱至於消逝。均田制能順利推行，對隋前中期的經濟發展收益甚大。加上隋代以關中作爲本位，關中糧食短缺，需依賴關東漕運接濟，故楊堅於洛州等地設立常平倉等官倉，貯存關東運來糧食，建廣通渠，便利關中漕運。又於民間設義倉，人民捐納糧食以防凶年。自開皇九年（589年）統一天下後，以富國爲首要目標。輕徭薄賦以解民困。在確保國家賦稅收入之同時，穩定民生。由於魏晉南北朝以來，戶籍不清，稅收不穩。於是於開皇五年（585年）下令實行大索貌閱。並接納尚書左僕射高熲之建議，推行輸籍法，作全國性戶口調查，結果查獲沒有戶籍的百姓達165萬餘口，其中丁壯44.3萬人，以增加國家稅收，改善經濟，盡掃魏晉南北朝以來隱瞞戶籍之積弊。此外，楊堅安定政治，關隴集團的支持功不可沒。漢人如鄭譯、劉昉、高熲等名臣有助推動國策。楊堅亦因前朝酷刑甚多，影響民生，故命蘇威等人編纂《開皇律》，修訂刑律，訂立國家刑法，使人民有法可守，又減省刑罰，死刑只設絞、斬二等，以示隋朝對民之寬大。
開皇十三年（593年），下詔建仁壽宮於岐州之北，使楊素監造。平山填谷，以建宮殿，規模很大。因督役嚴急，丁夫死者以萬數。開皇十五年（595年），仁壽宮修成。文帝到了那裡，看到宮殿十分壯麗，大怒道：“楊素殫民力爲離宮，爲吾結怨天下。”楊素聽了，很怕受處分。但獨孤後對這所離宮感到很滿意，文帝的態度也就變了。第二天召見楊素，賜錢百萬，錦絹三千段。楊堅好猜忌苛察，容易聽信讒言，到了晚年更是濫殺大臣，虞慶則、史萬歲等功臣故舊先後被殺，此外，法制逐漸遭到破壞，用法“不復依準科律”，頒佈諸如“盜一錢以上皆棄市”、“三人共盜一瓜，事發即死”之類的苛刻刑法，百姓惶恐。楊堅還熱衷廷杖，“每於殿廷打人，一日之中，或至數四”。同時，楊堅晚年頗受諸子的困擾。太子楊勇性寬厚，率意任情，無矯飾之行。他曾經把蜀人所做的精美的鎧甲，再加裝飾，文帝看了很不高興。獨孤後又因太子妃元氏無寵，遇心疾而死，疑有他故，頗爲不平，乃派人伺察太子過惡。而晉王楊廣則矯情飾詐，內諂母后，外結朝士，特別是拉攏權臣楊素，積極進行奪取太子地位的活動。隋文帝先是軟禁三子秦王楊俊；接着在開皇二十年（600年），將長子太子楊勇貶爲庶人，改立次子楊廣爲太子；又於仁壽二年（602年），將四子蜀王楊秀貶爲庶人。
仁壽二年（602年）獨孤皇后去世後，宣華夫人陳氏、容華夫人蔡氏都受到楊堅的寵愛。仁壽四年（604年），楊堅患病住在仁壽宮，尚書左僕射楊素、兵部尚書柳述、黃門侍郎元巖都進入仁壽宮侍疾。隋文帝楊堅召楊廣入內居崐住在大寶殿。楊廣考慮到如果楊堅去世，必須預先作好防備措施，他親手寫了一封信封好，派人送出來詢問楊素。楊素把情況一條條寫下來回復楊廣。宮人誤把回信送到了楊堅的寢宮，楊堅看後極爲憤怒。天剛亮，宣華夫人出去更衣，被楊廣所逼迫。宣華夫人拒絕了他才得以脫身。她回到文帝的寢宮，楊堅奇怪她神色不對，問什麼原因，宣華夫人流着淚說：“太子無禮！”楊堅憤怒，捶着牀說：“這個畜生！怎麼可以將國家大事交付給他！獨孤氏誤了我！”於是他叫來柳述、元巖說：“召見我的兒子！”柳述等人要叫楊廣來。楊堅說：“是楊勇。”柳述、元巖出了楊堅的寢宮，起草敕書。楊素聞知此事，告訴了楊廣。楊廣假傳楊堅的旨意將柳述、元巖逮捕，關進大理獄。他們迅速調來東宮的裨將兵士來宿衛仁壽宮，宮門禁止出入，並派宇文述、郭衍進入調度指揮；命令右庶子張衡進入仁壽宮侍侯楊堅。後宮的人員全被趕到別的房間去。隨後，楊堅在大寶殿駕崩，在位23年，終年64歲，廟號高祖，諡號文皇帝，葬於泰陵（今天陝西省楊陵區城西5公里處）。