司馬氏是高陽之子重黎的後裔，即夏官祝融。遠古至商朝世代襲承夏官這一職位，到了周朝，夏官改稱司馬。周宣王時，先祖程伯休父平定徐方有功，恩賜司馬爲族姓。司馬懿的十二世祖司馬卬隨項羽滅秦，受封殷王，建都河內。漢朝時成爲河內郡，司馬家族世代居住在此地。司馬懿的高祖父司馬鈞爲漢安帝時的徵西將軍，曾祖父司馬量爲豫章（今江西南昌）太守，祖父司馬儁爲潁川太守，父親司馬防爲京兆尹。司馬防育有八子，因字中都有一個“達”字，當時號稱司馬八達。晉武帝司馬炎詔書說：“本諸生家，傳禮來久。”司馬懿是司馬防的次子，少年時期就胸懷謀略。東漢末年，司馬懿生於亂世，“常慨然有憂天下心”。南陽太守楊俊素以知人善任著稱，司馬懿二十歲前，楊俊曾見過他，說他絕非尋常之子。尚書崔琰與司馬懿的兄長司馬朗交好，曾對司馬朗說：“你弟弟聰明懂事，做事果斷，英姿不凡，不是你所能比得上的。”
司馬懿少年時和著名隱士胡昭關係很好。因與同郡的周生等人結怨而被謀害，胡昭知道後立刻涉險尋找，在崤山澠池之間找到周生一行，請求他們放過司馬懿，周生開始不肯，但胡昭哭泣的誠意最終還是感動了他，救下司馬懿。建安六年（201年），郡中推薦司馬懿爲上計掾。當時曹操正任司空，聽說司馬懿的名聲後，派人徵辟他到府中任職。司馬懿見東漢政權已經被曹氏控制，曹氏又是閹宦之後，不想屈節在曹操手下，便藉口自己有風痹症，身體不能起居而不出仕曹氏。曹操不相信，派人夜間去刺探消息，司馬懿躺在那裡，一動不動，像真染上風痹一般。
建安十三年（208年），曹操爲丞相以後，使用強制手段徵召司馬懿爲文學掾。曹操對使者說，他如果還和以前一樣躺在牀上不出仕，便將他逮捕。司馬懿聽說後非常畏懼，只得就職。曹操讓他與太子往來遊處，歷任黃門侍郎、議郎、丞相東曹屬、丞相主簿等職。而據《魏略》則記載，司馬懿好學，曹洪自以爲才疏，想讓司馬懿去幫助他，司馬懿恥於和曹洪來往，假裝拄拐不去。曹洪記恨司馬懿，去跟曹操打小報告，曹操徵召司馬懿，司馬懿立刻扔了柺杖去見曹操爲其效命。曹操逐漸察覺司馬懿“有雄豪志”，又發現他有“狼顧之相”，心裡很忌諱。因此對曹丕說，司馬懿不是甘爲臣下的人，必會干預我們的家族之事。但因曹丕和司馬懿關係很好，總是維護他，而得以無事，於是，司馬懿勤於職守，廢寢忘食，遂使曹操安心。建安二十年（215年），曹操征討張魯，司馬懿隨軍。他對曹操說：“劉備用詭計俘虜劉璋，蜀中之人還未曾歸附他就又興兵爭奪江陵，這正是破劉的大好時機。今若在漢中陳兵示威，益州（指蜀地）就會震動不安，再進兵威逼，蜀兵勢必瓦解。趁這個機會，一定能大功告成。聖人不能違時，也不能失時。”但是曹操卻說：“人苦於不知足，已經得到了隴右，還想得到蜀地，這是人心無足。”所以沒有聽從司馬懿的計策。既而司馬懿跟從曹操南征孫權，大破孫權。大軍回軍之後，孫權遣使乞降，向曹操上表稱臣，陳說天命，勸說曹操稱帝。曹操說：“孫權小兒這是想要把我放在爐炭上啊！”司馬懿對答說：“漢朝的國運將要終結，您十分天下而有其九，還臣服聽命於漢。如今孫權稱臣，是順應天人之意。”
建安二十四年（219年），司馬懿升任太子中庶子，佐助魏太子曹丕。當時司馬懿每次參與謀劃，都有奇策，所以爲曹丕所信任和重用，與陳羣、吳質、朱鑠並稱“四友”。司馬懿轉任軍司馬，建議屯田解決糧食問題，得到曹操的採納。他指出荊州刺史胡修粗暴，南鄉太守傅方驕奢，都不應駐守邊防，曹操未予重視。同年，關羽圍曹仁於樊城，水淹于禁七軍，斬龐德。胡、傅二人果然乘機降蜀。一時間關羽聲勢“威震華夏”。因漢獻帝在許縣，距樊城很近，曹操感到威脅，爲避關羽鋒芒，一度準備遷都黃河以北。司馬懿和曹椽蔣濟及時勸阻說：“于禁被大水所淹，不是戰守上的失誤，對於國家的大局並沒有大損失，爲此而遷都，即是向敵人示弱，又會使淮河、漢水一帶人心不穩；劉備、孫權外親內疏，如今關羽坐大，孫權必定不安，把這件事告知孫權，使他牽制關羽，則樊城之圍自解。”曹操從其計，孫權果然派呂蒙襲取公安，關羽被其俘殺。之後曹操認爲荊州遺民及在潁川屯田的軍民逼近南方的敵對勢力，想把他們遷走。司馬懿認爲：“荊楚之民大多輕脫，輕易移動怕是難以安定。如今關羽剛剛被擊破，藏竄逃亡者也在觀望時局。如今將那裡的人遷徙，既傷當地人的心意，也令想要回來的人不敢復還。”曹操聽了他的建議，沒有移民。之前藏竄逃亡者果然都復出歸化。延康元年（220年），曹操去世，朝野危懼，司馬懿管理喪葬諸事，內外肅然，並奉曹操梓宮回到鄴城。同年，曹丕即魏王位，司馬懿受封河津亭侯，轉丞相長史。當時孫權正率軍向西。朝臣們認爲樊城、襄陽缺乏糧，不能抵禦吳軍，請召守將曹仁回駐宛城（今河南南陽宛城區）。司馬懿則表示：“孫權剛剛打敗關羽，正是他想和魏國結好的時候，一定不敢爲患。襄陽是水陸交通要地，不能放棄。”曹丕沒聽其建議，命曹仁放火燒燬二城。後來孫權果然沒來入侵。曹丕悔之不及。
魏文帝黃初元年（220年）十一月，曹丕登皇帝位，史稱魏文帝。曹丕登基後，任命司馬懿爲尚書，不久轉督軍、御史中丞，封安國鄉侯。黃初二年（221年），免去督軍官職，升任侍中、尚書右僕射。黃初五年（224年），曹丕伐吳，臨江觀兵。司馬懿奉命鎮守許昌，並改封司馬懿爲向鄉侯，轉撫軍、假節，領兵五千，加給事中、錄尚書事。司馬懿力辭不受，曹丕說：“朕夜以繼日處理國家大事，沒有須臾片刻的休息時間。如今冊封你不是加以優榮，而是要你爲我分憂。”黃初六年（225年），曹丕再次大興舟師伐吳，命司馬懿留守許都，對內鎮撫百姓，對外爲大軍提供軍資。臨行，曹丕下詔給司馬懿說：“我深深地擔心後勤和朝內之事，所以將這些大事委託給你。歷史上曹參雖多有戰功，但是蕭何在後方的支持才更爲重要。如今你留守後方，使我無西顧之憂，這可行嗎！”之後曹丕由廣陵（今江蘇揚州廣陵區）回師京都，又下詔對司馬懿說：“我向東用兵孫權，你該總理京都洛陽的事情；我在洛陽，你則應當總理東征孫權的戰事。”於是又命司馬懿留鎮許昌。黃初七年（226年）五月，曹丕病重。臨終時，令司馬懿與中軍大將軍曹真、鎮軍大將軍陳羣、徵東大將軍曹休爲輔政大臣。曹丕對太子曹叡說：“在這裡的三位重臣，一定不要懷疑他們。”曹叡即位，改封司馬懿爲舞陽侯。孫權得知魏文帝去世後，於八月出兵攻魏。命諸葛瑾、張霸兵分兩路進攻襄陽，親自率軍進攻江夏郡（治石陽縣，即今武漢黃陂西南）。司馬懿擊退了孫權，又擊敗諸葛瑾，並斬殺張霸，斬首千餘級。十二月，司馬懿升任驃騎將軍。
太和元年（227年）六月，魏明帝曹叡命司馬懿駐紮宛城，加督荊、豫二州諸軍事。蜀將孟達降魏時，魏待其甚厚，司馬懿認爲他言行傾巧，不可信任。但曹叡不聽，任命孟達領新城（今湖北房縣）太守。曹丕死後，孟達失寵，蜀丞相諸葛亮即暗中與之通信，圖謀叛魏。諸葛亮恐他言行反覆無常，想促他速叛，知魏興太守申儀和他有矛盾，便派郭模到申儀處詐降，有意泄露其事。孟達聞此泄露，準備馬上起兵。申儀將此事密告司馬懿後，司馬懿怕他突然發難，給他去信，詳爲慰解。孟達得信大喜，但是猶豫不決。司馬懿則暗中率軍進討，諸將見孟達與吳蜀交接，勸司馬懿先觀而後動。司馬懿說：“孟達沒有信義，現在正是他猶豫不決之時，應當趁他沒有決定而及時平定他。”司馬懿親自率軍日夜兼程前去討伐孟達，八天抵達新城城下。吳、蜀派出援兵解救孟達，被司馬懿部攔阻於西城的安橋、木蘭塞等地。此前，諸葛亮曾告誡孟達加緊防範，孟達寫信給諸葛亮認爲：“宛城和洛陽相距八百里，離我處一千二百里，上表給天子，來回路程，少需一個月，那時我的城池已修固，諸軍都作好了準備。我駐紮的地形深險，司馬懿必不會親自來，其他部將來，則不足爲患”。而司馬懿先斬後奏，僅八日就兵臨城下，孟達又寫信給諸葛亮，驚歎：“我想要舉事，而司馬懿八日就兵臨城下，何其神速也！”上庸城（今湖北竹山縣西南）三面環水，孟達在城外樹立木柵，加固城防。司馬懿揮師渡水，毀其木柵，直逼城下。太和二年（228年）正月，司馬懿兵分八路攻城，僅十六天，孟達的外甥鄧賢、部將李輔開城投降。魏軍入城，擒斬孟達，傳首京師，俘獲萬餘人。司馬懿回軍，仍駐宛城，獎勸農桑，禁止浪費。南方吏民心悅誠服。
起初，申儀久在魏興郡，專威弄權，擅自借皇帝名義刻制印信，私相授予。孟達被殺之後，申儀自生疑慮。當時各郡郡守見司馬懿克敵制勝，紛紛奉禮祝賀。司馬懿聽之任之，並讓人向申儀暗示。申儀只好前來祝賀。司馬懿乘機將他收捕，送往京師。司馬懿又將孟達餘衆七千餘家遷往幽州。不久蜀將姚靜、鄭他等率其部屬七千餘人來降。當時邊郡新附，戶口不實。朝廷想加以覈實，請司馬懿進京，徵詢他的意見。司馬懿認爲：“叛賊以嚴苛的法令約束部下，所以被部下遺棄。應該以寬和待他們，那就會自然安樂”。曹叡又問他吳、蜀都該討伐，應該先從何處着手？司馬懿回答說：“吳國認爲我們北兵不習慣水戰，所以纔敢散居東關。只要攻打敵軍，一定要扼住敵軍的咽喉而撞擊他們的心臟，而夏口、東關就是吳軍的心喉。如果在陸上以軍攻打皖城，因孫權的兵馬東下，派水師攻向夏口，乘其虛而擊之，一定能大破吳軍。”曹叡對他的看法深以爲然，再次命司馬懿屯兵宛城備戰。八月，大司馬曹休不依計劃，逕下皖城深入敵境接應詐降的吳將周魴，在石亭被陸遜伏擊，大敗，曹休病死。