魏文帝黄初元年公元220年十一月，曹丕登皇帝位，史称魏文帝。zhulange曹丕登基后，任命司马懿为尚书，不久转督军、御史中丞，封安国乡侯。

黄初二年公元221年，免去督军官职，升任侍中、尚书右仆射。

黄初五年公元224年，曹丕伐吴，临江观兵。司马懿奉命镇守许昌，并改封司马懿为向乡侯，转抚军、假节，领兵五千，加给事中、录尚书事。

司马懿力辞不受，曹丕说道：“朕夜以继日处理国家大事，没有须臾片刻的休息时间。如今册封你不是加以优荣，而是要你为朕分忧。”

黄初六年公元225年，曹丕再次大兴舟师伐吴，命司马懿留守许都，对内镇抚百姓，对外为大军提供军资。临行，曹丕下诏给司马懿说：“朕担心后勤和朝内之事，所以将这些大事委托给你。曹参虽多有战功，但是萧何在后方的支持才更为重要。如今你留守后方，使我无西顾之忧，这可行吗！”

之后曹丕由广陵回师京都，又下诏对司马懿说道：“朕向东用兵孙权，你该总理京都洛阳的事情我在洛阳，你则应当总理东征孙权的战事。”于是又命司马懿留镇许昌。

黄初七年公元226年五月，曹丕病重。临终时，令司马懿与中军大将军曹真、镇军大将军陈群、征东大将军曹休为辅政大臣。曹丕对太子曹叡说道：“皇儿，在这里的三位重臣，一定不要怀疑他们。”

曹叡即位，改封司马懿为舞阳侯。孙权得知魏文帝去世后，于八月出兵攻魏。命诸葛瑾、张霸兵分两路进攻襄阳，亲自率军进攻江夏郡。司马懿击退了孙权，又击败诸葛瑾，并斩杀张霸，斩首千余级。十二月，司马懿升任骠骑将军。

太和元年公元227年六月，魏明帝曹叡命司马懿驻扎宛城，加督荆、豫二州诸军事。蜀将孟达降魏时，魏待其甚厚，司马懿认为他言行倾巧，不可信任。但曹叡不听，任命孟达领新城太守。

曹丕死后，孟达失宠，蜀丞相诸葛亮即暗中与之通信，图谋叛魏。诸葛亮恐他言行反复无常，想促他速叛，知魏兴太守申仪和他有矛盾，便派郭模到申仪处诈降，有意泄露其事。孟达闻此泄露，准备马上起兵。

申仪将此事密告司马懿后，司马懿怕他突然发难，给他去信，详为慰解。孟达得信大喜，但是犹豫不决。司马懿则暗中率军进讨，诸将见孟达与吴蜀交接，劝司马懿先观而后动。司马懿说道：“孟达没有信义，应当趁他没有决定而及时平定他。”司马懿亲自率军日夜兼程前去讨伐孟达，八天抵达新城城下。吴、蜀派出援兵解救孟达，被司马懿部拦阻于西城的安桥、木兰塞等地。x