早年经历
司马氏是高阳之子重黎的后裔，即夏官祝融。远古至商朝世代袭承夏官这一职位，到了周朝，夏官改称司马。周宣王时，先祖程伯休父平定徐方有功，恩赐司马为族姓。司马懿的十二世祖司马卬随项羽灭秦，受封殷王，建都河内。汉朝时成为河内郡，司马家族世代居住在此地。
司马懿的高祖父司马钧为汉安帝时的征西将军，曾祖父司马量为豫章（今江西南昌）太守，祖父司马儁为颍川（今河南禹州）太守，父亲司马防为京兆尹。司马防育有八子，因字中都有一个“达”字，当时号称司马八达。晋武帝司马炎诏书说：“本诸生家，传礼来久。”
司马懿是司马防的次子，少年时期就胸怀谋略。东汉末年，司马懿生于乱世，“常慨然有忧天下心”。南阳太守杨俊素以知人善任著称，司马懿二十岁前，杨俊曾见过他，说他绝非寻常之子。尚书崔琰与司马懿的兄长司马朗交好，曾对司马朗说：“你弟弟聪明懂事，做事果断，英姿不凡，不是你所能比得上的。”
司马懿少年时和著名隐士胡昭关系很好。因与同郡的周生等人结怨而被谋害，胡昭知道后立刻涉险寻找，在崤山渑池之间找到周生一行，请求他们放过司马懿，周生开始不肯，但胡昭哭泣的诚意最终还是感动了他，救下司马懿。
征召入仕
建安六年（201年），郡中推荐司马懿为上计掾[yuàn]（佐理州郡上计事务的官吏）。当时曹操正任司空，听说司马懿的名声后，派人征辟他到府中任职。司马懿见东汉政权已经被曹氏控制，曹氏又是阉宦之后，不想屈节在曹操手下，便借口自己有风痹症，身体不能起居而不出仕曹氏。曹操不相信，派人夜间去刺探消息，司马懿躺在那里，一动不动，像真染上风痹一般。建安十三年（208年），曹操为丞相以后，使用强制手段征召司马懿为文学掾。曹操对使者说，他如果还和以前一样躺在床上不出仕，便将他逮捕。司马懿听说后非常畏惧，只得就职。曹操让他与太子往来游处，历任黄门侍郎、议郎、丞相东曹属、丞相主簿等职。而据《魏略》则记载，司马懿好学，曹洪自以为才疏，想让司马懿去帮助他，司马懿耻于和曹洪来往，假装拄拐不去。曹洪记恨司马懿，去跟曹操打小报告，曹操征召司马懿，司马懿立刻扔了拐杖去见曹操为其效命。
曹操逐渐察觉司马懿“有雄豪志”，又发现他有“狼顾之相”，心里很忌讳。因此对曹丕说，司马懿不是甘为臣下的人，必会干预我们的家族之事。但因曹丕和司马懿关系很好，总是维护他，而得以无事，于是，司马懿勤于职守，废寝忘食，遂使曹操安心。
奇策善谋
建安二十年（215年），曹操征讨张鲁，司马懿随军。他对曹操说：“刘备用诡计俘虏刘璋，蜀中之人还未曾归附他就又兴兵争夺江陵，这正是破刘的大好时机。今若在汉中陈兵示威，益州（指蜀地）就会震动不安，再进兵威逼，蜀兵势必瓦解。趁这个机会，一定能大功告成。圣人不能违时，也不能失时。”但是曹操却说：“人苦于不知足，已经得到了陇右，还想得到蜀地，这是人心无足。”所以没有听从司马懿的计策。 既而司马懿跟从曹操南征孙权，大破孙权。大军回军之后，孙权遣使乞降，向曹操上表称臣，陈说天命，劝说曹操称帝。曹操说：“孙权小儿这是想要把我放在炉炭上啊！”司马懿对答说：“汉朝的国运将要终结，您十分天下而有其九，还臣服听命于汉。如今孙权称臣，是顺应天人之意。”
建安二十四年（219年），司马懿升任太子中庶子，佐助魏太子曹丕。当时司马懿每次参与谋划，都有奇策，所以为曹丕所信任和重用，与陈群、吴质、朱铄[shuò]并称“四友”。司马懿转任军司马，建议屯田解决粮食问题，得到曹操的采纳。他指出荆州刺史胡修粗暴，南乡太守傅方骄奢，都不应驻守边防，曹操未予重视。同年，关羽围曹仁于樊城，水淹于禁七军，斩庞德。胡、傅二人果然乘机降蜀。一时间关羽声势“威震华夏”。因汉献帝在许县，距樊城很近，曹操感到威胁，为避关羽锋芒，一度准备迁都黄河以北。司马懿和曹椽蒋济及时劝阻说：“于禁被大水所淹，不是战守上的失误，对于国家的大局并没有大损失，为此而迁都，即是向敌人示弱，又会使淮河、汉水一带人心不稳；刘备、孙权外亲内疏，如今关羽坐大，孙权必定不安，把这件事告知孙权，使他牵制关羽，则樊城之围自解。”曹操从其计，孙权果然派吕蒙袭取公安，关羽被其俘杀。
之后曹操认为荆州遗民及在颍川屯田的军民逼近南方的敌对势力，想把他们迁走。司马懿认为：“荆楚之民大多轻脱，轻易移动怕是难以安定。如今关羽刚刚被击破，藏窜逃亡者也在观望时局。如今将那里的人迁徙，既伤当地人的心意，也令想要回来的人不敢复还。”曹操听了他的建议，没有移民。之前藏窜逃亡者果然都复出归化。
延康元年（220年），曹操去世，朝野危惧，司马懿管理丧葬诸事，内外肃然，并奉曹操梓宫回到邺城。同年，曹丕即魏王位，司马懿受封河津亭侯，转丞相长史。当时孙权正率军向西。朝臣们认为樊城、襄阳缺乏粮，不能抵御吴军，请召守将曹仁回驻宛城（今河南南阳宛城区）。司马懿则表示：“孙权刚刚打败关羽，正是他想和魏国结好的时候，一定不敢为患。襄阳是水陆交通要地，不能放弃。”曹丕没听其建议，命曹仁放火烧毁二城。后来孙权果然没来入侵。曹丕悔之不及。
辅政平乱
魏文帝黄初元年（220年）十一月，曹丕登皇帝位，史称魏文帝。曹丕登基后，任命司马懿为尚书，不久转督军、御史中丞，封安国乡侯。黄初二年（221年），免去督军官职，升任侍中、尚书右仆射。
黄初五年（224年），曹丕伐吴，临江观兵。司马懿奉命镇守许昌，并改封司马懿为向乡侯，转抚军、假节，领兵五千，加给事中、录尚书事。司马懿力辞不受，曹丕说：“朕夜以继日处理国家大事，没有须臾片刻的休息时间。如今册封你不是加以优荣，而是要你为我分忧。”
黄初六年（225年），曹丕再次大兴舟师伐吴，命司马懿留守许都，对内镇抚百姓，对外为大军提供军资。临行，曹丕下诏给司马懿说：“我深深地担心后勤和朝内之事，所以将这些大事委托给你。历史上曹参虽多有战功，但是萧何在后方的支持才更为重要。如今你留守后方，使我无西顾之忧，这可行吗！”之后曹丕由广陵（今江苏扬州广陵区）回师京都，又下诏对司马懿说：“我向东用兵孙权，你该总理京都洛阳的事情；我在洛阳，你则应当总理东征孙权的战事。”于是又命司马懿留镇许昌。
黄初七年（226年）五月，曹丕病重。临终时，令司马懿与中军大将军曹真、镇军大将军陈群、征东大将军曹休为辅政大臣。曹丕对太子曹叡说：“在这里的三位重臣，一定不要怀疑他们。”曹叡即位，改封司马懿为舞阳侯。孙权得知魏文帝去世后，于八月出兵攻魏。命诸葛瑾、张霸兵分两路进攻襄阳，亲自率军进攻江夏郡（治石阳县，即今武汉黄陂西南）。司马懿击退了孙权，又击败诸葛瑾，并斩杀张霸，斩首千余级。十二月，司马懿升任骠骑将军。
擒斩孟达
太和元年（227年）六月，魏明帝曹叡命司马懿驻扎宛城，加督荆、豫二州诸军事。蜀将孟达降魏时，魏待其甚厚，司马懿认为他言行倾巧，不可信任。但曹叡不听，任命孟达领新城（今湖北房县）太守。曹丕死后，孟达失宠，蜀丞相诸葛亮即暗中与之通信，图谋叛魏。诸葛亮恐他言行反复无常，想促他速叛，知魏兴太守申仪和他有矛盾，便派郭模到申仪处诈降，有意泄露其事。孟达闻此泄露，准备马上起兵。申仪将此事密告司马懿后，司马懿怕他突然发难，给他去信，详为慰解。孟达得信大喜，但是犹豫不决。司马懿则暗中率军进讨，诸将见孟达与吴蜀交接，劝司马懿先观而后动。司马懿说：“孟达没有信义，现在正是他犹豫不决之时，应当趁他没有决定而及时平定他。”司马懿亲自率军日夜兼程前去讨伐孟达，八天抵达新城城下。吴、蜀派出援兵解救孟达，被司马懿部拦阻于西城的安桥、木兰塞等地。
此前，诸葛亮曾告诫孟达加紧防范，孟达写信给诸葛亮认为：“宛城和洛阳相距八百里，离我处一千二百里，上表给天子，来回路程，少需一个月，那时我的城池已修固，诸军都作好了准备。我驻扎的地形深险，司马懿必不会亲自来，其他部将来，则不足为患”。而司马懿先斩后奏，仅八日就兵临城下，孟达又写信给诸葛亮，惊叹：“我想要举事，而司马懿八日就兵临城下，何其神速也！”上庸城（今湖北竹山县西南）三面环水，孟达在城外树立木栅，加固城防。司马懿挥师渡水，毁其木栅，直逼城下。太和二年（228年）正月，司马懿兵分八路攻城，仅十六天，孟达的外甥邓贤、部将李辅开城投降。魏军入城，擒斩孟达，传首京师，俘获万余人。司马懿回军，仍驻宛城，奖劝农桑，禁止浪费。南方吏民心悦诚服。
起初，申仪久在魏兴郡，专威弄权，擅自借皇帝名义刻制印信，私相授予。孟达被杀之后，申仪自生疑虑。当时各郡郡守见司马懿克敌制胜，纷纷奉礼祝贺。司马懿听之任之，并让人向申仪暗示。申仪只好前来祝贺。司马懿乘机将他收捕，送往京师。司马懿又将孟达余众七千余家迁往幽州。不久蜀将姚静、郑他等率其部属七千余人来降。当时边郡新附，户口不实。朝廷想加以核实，请司马懿进京，征询他的意见。司马懿认为：“叛贼以严苛的法令约束部下，所以被部下遗弃。应该以宽和待他们，那就会自然安乐”。
曹叡又问他吴、蜀都该讨伐，应该先从何处着手？司马懿回答说：“吴国认为我们北兵不习惯水战，所以才敢散居东关。只要攻打敌军，一定要扼住敌军的咽喉而撞击他们的心脏，而夏口、东关就是吴军的心喉。如果在陆上以军攻打皖城，因孙权的兵马东下，派水师攻向夏口，乘其虚而击之，一定能大破吴军。”曹叡对他的看法深以为然，再次命司马懿屯兵宛城备战。八月，大司马曹休不依计划，迳下皖城深入敌境接应诈降的吴将周鲂，在石亭被陆逊伏击，大败，曹休病死。
关陇抗蜀
太和三年（229年），蜀相诸葛亮第三次出兵攻魏，并占据武都（今甘肃陇南武都区）、阴平（今甘肃文县西北）二郡。太和四年（230年），魏明帝曹叡决定兴师伐蜀。升司马懿任大将军、加大都督、假黄钺，与大司马曹真一起伐蜀。八月，魏明帝命曹真率主力由长安入子午谷，左将军张郃出斜谷，司马懿自荆州溯汉水出西城，将兵分三路会攻汉中。司马懿从西城开拓道路，水陆并进，沿着沔水逆流而上，直达朐忍，攻克新丰县，驻军丹口，后遇大雨班师。
太和五年（231年）二月，诸葛亮率军第四次北伐魏国，包围祁山贾嗣、魏平部，并以木牛流马运输粮草，曹叡派司马懿西驻长安防御蜀军。司马懿留部将费曜、戴陵率4000人守邽，自率主力西救祁山。张郃劝司马懿分兵驻扎雍、郿两地，以作大军后镇，司马懿不同意。挺进喻麋，对战诸葛亮。
此次战役的结果，不同的史书有不同记载。《晋书·宣帝纪》中，司马懿大胜蜀军；但在《汉晋春秋》中，诸葛亮力挫魏军。另外，这时期魏将张郃之死也有不同的说法，《张郃传》中，张郃不听司马懿劝告，主动出击，“诏郃督诸将西至略阳，（诸葛）亮还保祁山，郃追至木门，与亮军交战，飞矢中郃右膝，薨。”；而在《魏略》中却记载是司马懿指挥失当，“宣王使郃追之，郃曰：“军法，围城必开出路，归军勿追。”宣王不听。郃不得已，遂进。蜀军乘高布伏，弓弩乱发，矢中郃髀。”历史真相究竟如何，尚不能下定论。
青龙元年（233年），安定保塞匈奴大人胡薄居姿职等叛，司马懿派遣胡遵等追讨并破降。蜀军退军后，军师杜袭、督军薛悌[tì]都预计诸葛亮第二年麦熟时还会入侵，建议趁冬天调运粮草，解决陇右粮少问题。司马懿认为：“诸葛亮两次出祁山，一次攻陈仓，都受挫而返。即使以后他还会出兵，将不再攻城，而是寻求野战，地点必在陇东，而不会在西侧。诸葛亮常以粮少为恨，回去后必然广积粮草，我估计没有三年的积蓄，诸葛亮是不会贸然出兵北伐的。”
对阵五丈原
青龙二年（234年）二月，蜀相诸葛亮率军十万出斜谷伐魏。四月，诸葛亮至郿县（位于今陕西宝鸡），进驻渭水之南。司马懿率军渡渭水，背水筑垒阻击。诸将想在渭北与诸葛亮隔水相持，司马懿说：“百姓积聚的粮秣财物都在渭南，这是必争之地。”遂渡渭水背水扎营。
当时，司马懿屯兵渭南，郭淮估计诸葛亮一定会争夺北原，主张先去占领北原，司马懿说：“如果诸葛亮跨过渭水登上北原，就可以连兵北山，断绝陇道，震慑我朝臣民和胡人，此乃国家安危之大患。”很多人不以为然，但司马懿认为如此，让郭淮屯兵北原。不久，诸葛亮率大军西行，诸将都认为诸葛亮想攻西围。郭淮则认为，诸葛亮虚张声势是要让魏军大举回应，而他的目标是阳遂。夜里，蜀军果然进攻阳遂，因城中早有防备，诸葛亮没能成功。五月，十万吴军攻魏，配合蜀军作战，被满宠所拒。七月，魏明帝曹叡率兵亲征，吴军撤兵。群臣认为司马懿正还在西边和诸葛亮重兵对峙，车驾可西幸长安，魏明帝则说：“孙权大军已经撤回，诸葛亮孤军无援、难成气候，大将军司马懿足以抵挡，我没有什么忧虑了。”诸葛亮东进的道路受阻于司马懿，从渭水前进，又有郭淮阻挡，于是移军攻取大散关、陇城等地，回师进攻司马懿。
八月，司马懿以“坚壁拒守，以逸待劳”的指示，与诸葛亮相持百余日。诸葛亮数次挑战，司马懿均坚壁不出，以待其变。诸葛亮便派人给司马懿送去妇人的服装，欲激司马懿出战，司马懿仍不出战。为平息部属不满情绪，司马懿故意装怒，上表请战。曹叡不许，并派骨鲠之臣辛毗[pí]杖节来做司马懿的军师，以节制他的行动。诸葛亮一来挑战，司马懿就要带兵出击，辛毗杖节立于军门，司马懿便不出兵。蜀将姜维就对诸葛亮说：“辛毗杖节而至，司马懿不会出战了。” [47] 诸葛亮则说：“彼本无战情，所以固请战者，以示武于其众耳。将在军，君命有所不受，苟能制吾，岂千里而请战邪！”诸葛亮遂分兵屯田，做长久屯驻之准备。司马懿的三弟司马孚也来信问前线军情，司马懿回信说：“亮志大而不见机，多谋而少决，好兵而无权，虽提卒十万，已堕吾画中，破之必矣。”
不久，诸葛亮遣使求战，司马懿不谈军事，问使者：“诸葛公起居饮食如何，一顿能吃多少米？”使者说：“三四升。”然后对问政事，使者说：“打二十军棍以上的处罚，都是诸葛公自己阅批。”经过一番不经意的询问，司马懿对人说：“诸葛亮将要死了。”果然，诸葛亮于当月病故于五丈原军中。蜀将秘不发丧，整军后退。当地百姓跑来报告，司马懿派兵追击，蜀将杨仪返旗鸣鼓，做出回击的样子，司马懿以‘穷寇莫追’收军退回。当时有人传：“死诸葛走生仲达”，司马懿听到笑说：“这是因为我长于预测活人的事，不长于预测人的生死啊。”第二天，司马懿到诸葛亮营垒巡视，并赞诸葛亮“天下奇才也”。青龙二年（234年）八月，诸葛亮病故于五丈原（宝鸡岐山境内），享年五十四岁。历时七年的诸葛亮北伐至此结束。蜀汉将领杨仪、魏延在撤军后争权，杨仪杀死魏延。司马懿想乘机攻蜀，魏明帝未准，作罢。
青龙三年（235年），司马懿升任太尉，累增封邑。蜀将马岱入境侵扰，司马懿派牛金迎击，斩蜀军千余人。武都氐王苻双和强端率领其属下六千余人来降。
平定辽东
东汉末年军阀混战时，公孙度据有辽东。这个割据势力对曹魏一直时叛时降，保持着半独立的地位。公孙渊继为辽东太守后，对魏更加不逊。魏明帝震怒，派荆州刺史毌丘俭出任幽州刺史，时辽水大涨，毌丘俭不利而还。毌丘俭讨伐受阻，使公孙渊更加得意。景初元年（237年），原魏辽东太守公孙渊背叛魏国，自立为燕王，置列百官，定都襄平（今辽宁辽阳）。 公孙渊遣使南通孙权，封拜边民，诱呼鲜卑，侵扰北方。
景初二年（238年）当年正月，司马懿率牛金、胡遵等步骑四万，从京师出发，经孤竹，越碣石，六月，进至辽水。公孙渊急令大将军卑衍、杨祚等人率步骑数万，依辽水围堑20余里，坚壁高垒，阻击魏军。司马懿采用声东击西之计，先在南线多张旗帜，佯攻围堑，吸引敌军主力，而以主力隐蔽渡过辽水，逼进敌军的襄平本营，部将不解问其原因。司马懿说：“敌人坚营高垒，就是想让我们兵疲粮尽，若攻城，正中其计。古人曰，敌虽高垒，不得不与我战者，攻其所必救也。现在他们大军在此，老巢却空。我直指襄平，敌军必惧，惧而求战，破之必矣”。接着整顿阵列前进，敌军果然出来截击。司马懿对诸将说：“我之所以不攻其营，正是要等现在的局面。”于是指挥魏军痛击，三战皆捷，遂乘胜进围襄平。
当初公孙渊闻魏军来攻，求救于孙权，孙权也出兵为其声援，并给公孙渊写信：“司马懿善用兵所向无前，深深为贤弟感到担忧啊。”适逢连降大雨，辽水暴涨，平地数尺，魏军恐惧，诸将思欲迁营。司马懿下令有敢言迁营者斩，都督令史张静违令被斩，军心始安。公孙渊军乘雨出城，打柴牧马，安然自若。魏将领请求出击，司马懿不允。司马陈圭曰问司马懿：“当年攻上庸，八路并进，昼夜不停，故能在一旬半时间里，攻下坚城，杀了孟达。这次远道而来，为什么行动却更加缓慢？”司马懿说：“当年孟达军队少而粮食能支持一年，我们的军队是孟达的四倍，粮食却不足一月，以一月粮的军队对付有一年粮的军队，怎能不速战速决？以四攻一，即使一半人伤亡，也是可行的，当时不计死伤，正是要为有限的粮草争取时间。而今敌兵多我军少，敌粮少我粮多，又遇大雨，想速战也不可能。从出兵开始，我就不担心敌人来进攻，而是怕他们会逃跑。如今敌军粮草将尽，我军包围尚未合拢，若现在抢掠牛马，会逼他们逃走。兵者诡道，善因事变。他们凭借人多和大水，虽然饥困，也不肯就擒。这时候更当稳住对方，不能为得小利而把敌人吓跑。”司马懿将计就计，故意示弱。朝廷听说雨大敌强，不少人请求召还司马懿。魏明帝却说：“司马懿临危制变，生擒公孙渊指日可待。”
月余，雨停，水渐退去。魏军完成对襄平的包围，昼夜强攻。城内粮尽，死者甚多，其将杨祚等降。当时城中愈发震恐，公孙渊也很惊惧，八月，公孙渊派相国王建、御史大夫柳甫请求解围，司马懿斩杀使者，发布檄文严责。公孙渊又派侍中卫演来请求定日期送人质，司马懿拒绝人质。公孙渊欲从城南突围，司马懿纵兵击破其军，公孙渊战死在梁水边上。入城后，司马懿下令屠杀十五岁以上男子七千多人，收集尸体，筑造京观。而后他又把公孙渊所任公卿以下一律斩首，杀死将军毕盛等二千多人，收编百姓四万户。
司马懿释放了当年被公孙渊篡夺官位的公孙恭，又为被公孙渊迫害的纶直、贾范等人修了坟墓，表彰他们的后代。下令说：“古代讨伐一个国家，仅杀其中顽固凶恶的人而已。各位被公孙渊所连累的人，全部宽恕。中原人愿意返回故乡的，各随己愿。”当时司马懿军中有的士兵衣单寒冷，请求发给短袄，司马懿不给，表示“襦者官物，人臣无私施也”。于是上奏朝廷，把一千多名六十岁以上的士兵解除兵役，送返回乡。在原定一年的期限内，胜利班师。魏明帝派使者到蓟去犒劳部队，增司马懿食昆阳县，前后共二县。曹魏数十年来辽东问题终于彻底解决。
托孤重臣
原本朝廷让司马懿便道往镇关中。但当到达白屋时，有诏书召他火速回京，三日之间，诏书五至。魏明帝手书说：“间侧息望到，到便直排阁入，视吾面”。据说，司马懿在襄平时，曾梦见魏明帝枕在他膝上，说：“视吾面。”他俯视，见魏明帝面有异色。如今一见诏书此语，大惊，乘追锋车昼夜兼行，从白屋到京城，四百多里，一夜而至。至则径人嘉福殿内御床旁边，满眼流泪，指问疾病。魏明帝拉着他的手，目视太子齐王，说：“以后事相托。死乃复可忍，吾忍死待君，得相见，无所复恨矣。”（《三国志·魏书·明帝纪》为“吾疾甚，以后事属君，君其与爽辅少子。吾得见君，无所恨。）
当天，魏明帝去世。时为景初三年（239年）正月。齐王曹芳继位，年仅八岁，司马懿乃与大将军曹爽一起接受遗诏辅佐少主。齐王即位，司马懿任侍中、持节、都督中外诸军、录尚书事，和曹爽各统精兵三千人，共执朝政。曹爽欲排挤司马懿，想让尚书奏事先通过自己，以便专权，向天子进言，改任司马懿为大司马。朝臣们认为以前大司马，有好多都死在任上，不吉，于是任命司马懿为太傅，效仿西汉丞相萧何那样，入殿不趋，赞拜不名，剑履上殿。以世子司马师为散骑常侍，子弟三人为列侯，四人为骑都尉。司马懿韬光养晦，大力拒绝不让子弟为官。
正始元年（240年）正月，东倭（今日本）来朝纳贡，焉耆、危须诸国，弱水以南，鲜卑名王，都遣使来献。魏帝曹芳称许司马懿，又增加司马懿的封邑。起初，魏明帝曹叡喜爱大修宫室，建制非常奢靡豪华，百姓多为其苦。司马懿出征辽东回军的时候，为修宫室而被征役夫仍旧有万余人，其中布满各种珍奇异宝。到魏帝曹芳在位期间，经过司马懿的上奏，全部罢除了大修宫室的力役。魏国节用务农，国力大增，各国都来朝见。
退敌征吴
正始二年（241年）四月，吴帝孙权分兵四路攻魏：全琮率军数万出淮南，诸葛恪攻六安，朱然攻樊城，大将军诸葛瑾攻柤中。五月，吴将全琮入侵芍陂，朱然、孙伦围攻樊城，诸葛瑾、步骘侵掠柤中，司马懿自请出兵往讨。朝臣认为，敌兵远来攻坚，当待其自破。司马懿以为不然。六月，司马懿统军增援。他知南方暑热低湿，大军不宜持久在此，先派轻骑挑战，朱然不敢动。于是，便休养土卒。检选精锐，招募勇士，发布号令，摆出攻城的架势。吴军惊惧，连夜撤退。在三州口（荆、豫、扬三州）为魏军追及，吴军被歼万余人，船舰物资损失甚多。而进攻六安、柤中的吴军亦无功而还。七月，增司马懿食郾[yǎn]、临颍，前后共四县，食邑万户，子弟十一人皆为列侯。司马懿功勋德望日渐盛大，然而却更加谦恭。
正始三年（242年）春，魏帝追谥司马懿之父京兆尹司马防为舞阳成侯。三月，司马懿上奏修广漕渠，引河入汴，疏通东南各个大湖，于淮北大规模屯田。吴国派诸葛恪屯驻宛城，边人深以为苦。司马懿要率兵攻之，朝臣以为诸葛恪占据坚城，广有粮谷，孤军远攻，救兵必至。司马懿却确认为吴军所擅长的是水战，而不是陆战。湖水冬浅，船不能行，救兵必弃船就陆相救，于陆战破敌就很容易了。
正始四年（243年）九月，司马懿率军出征，皇帝车驾送出津阳门。军队到达舒城，诸葛恪[kè]果然焚烧积聚，弃城而走。司马懿又巡视淮北屯田区，提拔农家子弟邓艾主持屯田。
辅臣争端
正始五年（244年）春，大将军曹爽欲立威名，不听太傅司马懿劝止，力主伐蜀，魏帝曹芳从之。结果为蜀前监军、镇北大将军王平所败，魏军被阻于兴势，后方也军粮供应不上，牛马骡驴大量死亡，蜀涪县及费祎[yī]援军亦相继到达。曹爽见不能胜，被迫听从司马懿的劝告，于五月率大军退还。遭蜀军截击，魏军苦战，始得退回，失散、伤亡甚众。
正始六年（245年）八月，曹爽废置中垒、中坚营，把两营兵众统交他的弟弟曹羲率领，司马懿援引先帝旧例制止，曹爽不听。正始七年（246年）正月，吴兵入侵柤中，有万余家百姓为避吴兵，北渡沔水，司马懿认为沔南离敌太近，倘若百姓奔还，还会引来吴兵，应该让他们暂留北方。曹爽不同意，说：“现在不能在沔南修城守地，反而让百姓留沔北，这不是长远之计。”司马懿则说：“放在安稳之处所则安稳，放在危险之处所则危险，人与物都是如此。所以兵书上说‘成败在于形，安危在于势’。形势是驾驭众人的关键，不能不审慎对待。假设吴贼以二万人防守沔水，三万人与我沔南诸军对抗，一万人猛攻柤中，我们怎么去援救呢？”曹爽不从，驱令还南。吴兵果然击破柤中，所失百姓，数以万计。曹爽的行为不但违背了顾命大臣应有的本分，也使魏国国力衰退，不少有志之士颇感不安，希望太傅主持公道。并州刺史孙礼就去和司马懿抱怨，司马懿安慰他说：“且止，忍不可忍。”
正始八年（247年）四月，夫人张氏薨。曹爽用心腹何晏、邓飏、丁谧之谋，把郭太后迁到永宁宫，一时曹爽兄弟“专擅朝政，兄弟并掌禁兵，多树亲党，屡改制度”。五月，司马懿伪装生病，不问政事。
正始九年（248年）三月，黄门张当把内庭才人石英等十一人送给曹爽，曹爽、何晏乘机与张当勾结，谋危社稷。曹爽及其同党也担心是司马懿装病。同年冬，河南尹李胜要到荆州任刺史，行前去拜望他。司马懿假装病重，李胜出来后对曹爽说：“司马懿已像尸体一样，卧床不起，只有残余之气，形神已经分离，不值得忧虑了。”以后又说：“太傅不能康复，令人忧伤。”所以曹爽等对司马懿未加戒备。而司马懿表面装病，实际上也在暗中布置，准备消灭曹爽势力。
政变夺权
嘉平元年（249年）正月，魏帝曹芳离开洛阳去祭拜魏明帝高平陵（今洛阳汝阳县大安乡工茹店村），大将军曹爽、中领军曹羲、武卫将军曹训均从行。司马懿乘机上奏郭太后，请废曹爽兄弟。当时，司马师为中护军，率兵屯司马门，控制京都。司马懿列阵，经过曹爽门前，曹爽部将严世登楼，引弩欲射司马懿，孙谦拉着他的胳膊阻止他说：“事情的真相还不可知。三次想要射箭三次被制止，孙谦皆按住严世之肘使之不能射出。”大司农桓范出城去投曹爽，蒋济担心道：“智囊往矣。”司马懿则说：“范则智矣，驽马恋栈豆，爽必不能用也。”司马懿召司徒高柔假节行大将军事，管领曹爽军营，对他说：“君为周勃矣。”召太仆王观行中领军事，统摄曹羲军营。司马懿自率太尉蒋济等勒兵出迎天子，驻扎在洛水浮桥。派人上奏章给皇帝陈述曹爽之罪。
曹爽扣住奏章，把曹芳留在伊水之南，征发屯兵数千人以自守。桓范劝曹爽挟持皇帝到许昌去，发文书征调天下兵马勤王。曹爽果然疑惑，不从其计。反而夜遣侍中许允、尚书陈泰去见司马懿，探听动静。司马懿乘机数说曹爽的过失，让他早来服罪。接着又派曹爽的亲信殿中校尉尹大目去对他说，朝廷只是免他的官职，并以洛水为誓。同时，他还让蒋济写信给曹爽，称自己只是想将他们免官，劝告他尽早交出权力投降，可以保他们爵位富贵。曹爽欲信其言，桓范等人从晚上一直劝到第二天黎明。曹爽说：“司马懿正当欲夺吾权耳。吾得以侯还第，不失为富家翁。”桓范哭说：“曹子丹佳人，生汝兄弟，犊耳！何图今日坐汝等族灭矣。” 于是，曹爽请免职，随曹芳回京。曹爽兄弟一回府，即被司马懿派兵包围。司马懿违背诺言，以谋反的罪名杀曹爽及其党羽何晏、丁谧、邓飏、毕轨、李胜、桓范等，并灭三族；但对曹爽门下的二流人物，司马懿特别宽大处理，如鲁芝，辛敞，王沈等人，后来还有人成为晋朝新贵。
架空魏室
嘉平元年（249年）二月，曹芳任命司马懿为丞相，司马懿固辞丞相之职不受。十二月，诏命加九锡之礼，朝会不拜，司马懿又固辞九锡。
嘉平二年（250年）春，曹芳命司马懿在洛阳立庙。司马懿久病，不任朝请，每遇大事，天子亲自到他府中去征询意见。司马懿诛曹爽，导致曾为曹爽笼络升为车骑将军、开府仪同三司，后又升为司空的王凌心生不满，与侄子令狐愚图谋废黜曹芳，立楚王曹彪为皇帝。还未行动，令狐愚便已死亡。
嘉平三年（251年）正月，王凌借口吴人塞涂水，请求出兵征讨。司马懿知其阴谋，不令兴兵。并于四月亲率中军讨伐王凌。司马懿故技重施，先下赦书赦免王凌之罪，写信安慰他，但不久大军突至。王凌自知势穷，便独自乘船迎接，派属官王或请罪，送上印绶、节钺。司马懿军到武丘，王凌在水边自缚等待，说：“我如有罪，公可用半片竹简召回，何苦亲自来呢？”司马懿说：“因为君非折简之客啊！”说罢，命将领率六百人马想把王凌解送洛阳。途经贾逵的寺庙，王凌大声呼庙。五月，王凌到项城，绝望，服毒而死。司马懿进军寿春，参与王凌之谋的人都出来自首。司马懿推知其事，凡牵连在内的一律诛灭三族。派人挖开王凌、令狐愚的坟墓，在附近的市上，剖棺暴尸三天，然后，烧掉他们的印绶、官服埋于土中。司马懿最终逼楚王曹彪自尽，并趁机把魏之王公全部拘捕，放置邺城，命有司监察，不准他们互相交结往来。
去世辞封
曹芳策命司马懿为相国，封安平郡公，孙及兄子各一人为列侯，前后食邑五万户，封侯者十九人。司马懿固辞相国、郡公之位不受。嘉平三年（251年）六月，司马懿病重，而常常梦见贾逵、王凌对自己作怪。八月戊寅（251年9月7日），司马懿在洛阳去世，享年七十三岁。当年九月庚申，司马懿被葬于河阴首阳山，谥文贞，追封相国、郡公，司马孚秉承他的遗愿，辞让郡公和殊礼，遗命简葬，作顾命三篇，敛以时服，不树不坟，不设明器。谥号后改为文宣。但《三国志》和《晋书·文帝纪》均记载谥号为“宣文”，故多以后者为准。同年十一月，有司奏请将各位已故功臣的灵位置于魏太祖庙中，以配享祭祀，排位以生前担任的官职大小为序。太傅司马懿因位高爵显，列为第一。
司马昭封晋王后，追封司马懿为宣王；咸熙二年（265年），司马昭之子晋武帝司马炎受魏禅，给司马懿上尊号为宣皇帝，称其陵墓为高原陵，庙号高祖。
