洪武二十四年（1391年），朱元璋“以江南地薄，颇有迁都之意”，于是派太子朱标巡视关中与洛阳，为迁都作准备。
朱标详细考察了西安和洛阳，比较两地的地形，最终“志欲定都洛阳，归而献图”。
朱标视察返京后不久患病，在生病期间还向太祖上书关于筹建都城的事。
次年朱标病逝，谥号懿文太子。这对年近七十的朱元璋是个沉重的打击，再也没有精力和心情考虑迁都的事情。
朱元璋看到朱标次子朱允炆表现十分孝顺而很喜欢，后来立其为皇太孙。
洪武三十一年闰五月初十（1398年6月24日），朱元璋驾崩于应天皇宫，下遗诏：
朕膺天命三十有一年，忧危积心，日勤不怠，务有益于民。
奈起自寒微，无古人之博知，好善恶恶，不及远矣。
今得万物自然之理，其奚哀念之有。
皇太孙允炆仁明孝友，天下归心，宜登大位。
内外文武臣僚同心辅政，以安吾民。
丧祭仪物，毋用金玉。
孝陵山川因其故，毋改作。
天下臣民，哭临三日，皆释服，毋妨嫁娶。
诸王临国中，毋至京师。
诸不在令中者，推此令从事。
朱元璋死前密命驸马梅殷（宁国公主之夫）辅佐新君，遗诏命皇太孙朱允炆继位。
朱元璋驾崩几天后，朱允炆于洪武三十一年闰五月十六日（6月30日）即位，改明年为建文元年，是为建文帝。
朱元璋死后葬于紫金山孝陵。
朱元璋死后，他生前规划的政治局面很快被打破。
建文帝即位后采取削藩政策，北平的燕王朱棣打出“靖难”的旗号，起兵反对建文帝。
建文四年（1402年），燕王朱棣取得胜利，在南京称帝，建文帝下落不明。
明初官僚机构沿袭自元朝。
朱元璋进行了改革，在中央废除中书省，明初中书省负责天下政务，其长官为左、右丞相，位高权重，丞相极易与皇帝发生矛盾，明朝时以胡惟庸任丞相后最甚。
胡惟庸势力逐大，威胁皇权，且日益骄横，懈怠政事。
于是，洪武十三年（1380年），朱元璋以图谋不轨之名处死了胡惟庸和有关的官员，同时宣布废除中书省，不再设丞相。
在地方废除行省制，设立承宣布政使司、都指挥使司和提刑按察使司，分别担负行中书省的职责，三者分立又互相牵制，防止了地方权力过重。
在各府县的重要地方，朱元璋还设置了巡检司，负责把关盘查、缉捕盗贼、盘诘奸伪。
朱元璋高度肯定了法律的治国作用。
他说：“夫法度者，朝廷所以治天下也”。
于是在朱元璋即吴王位时（1364年）就提出“建国之初，先正纲纪”，命左相国李善长等草创律令，编律285条，令145条，到吴元年十二月“甲寅，律令成，命颁行之。”这便是最早拟定颁行的《大明律》。
经过吴元年（1364年）、洪武六年（1373年）、洪武二十二年、洪武三十年四次修订，最终完成了《大明律诰》“刊布中外，令天下知所遵守。”
在具体的治国方面，朱元璋以元末“朝廷暗弱，威福下移”，纲纪败坏，官吏骄恣，从而致使元朝倾覆，顺帝北迁作为教训，立国后采取了“治乱世用重典”的原则。
朱元璋始终认为“胡元以宽而失，朕收中国，非猛不可”。
以此思想作为指导，如在刑名制定方面，明朝对“事关典礼及风俗教化”一类非直接侵犯君主政权的犯罪量刑轻于唐律。
但对“盗贼”及“帑项钱粮”之类直接危及专制统治的重大犯罪量刑则重罪加重，法外用刑，狂诛滥罚，制定了族诛、断手、刖足、阉割为奴、挑筋去膝盖等一系列法外刑。
洪武十五年（1382年），出于监控官员的需要，朱元璋将管辖皇帝禁卫军的亲军都尉府改为锦衣卫，并授以侦察、缉捕、审判、处罚罪犯等权力。
锦衣卫是一个正式的军事特务机构，由皇帝直接掌控。
它有自己的法庭和监狱，俗称“诏狱”，诏狱里采取剥皮、抽肠、刺心等种种酷刑。
朱元璋还让锦衣卫在朝廷上执行廷杖，有很多大臣惨死杖下。
朱元璋派出大量名为“检校”的特务人员，暗中监视。
但是到了晚年朱元璋逐步废除了锦衣卫及其特权，以及一些比较残酷的刑法。
朱元璋出身贫苦，受贪官污吏的敲诈勒索，又鉴于元朝的政治混乱，故以猛治国。
即位后在全国掀起了“反贪官”运动，矛头直指中央到地方的各级贪官污吏。
首先，对贪污六十两银子以上的官员格杀勿论。
从地方县、府到中央六部和中书省，只要是贪污，不管涉及到谁，决不心慈手软，一查到底。
其次，明初的中书省下属吏、户、礼、兵、刑、工六部中，由于大量留用元朝的旧官吏，以及一些造反起家的功臣他们有恃无恐贪赃枉法，朱元璋对这些官员进行惩处。
第三，朱元璋利用残酷刑法处置贪官，采取“剥皮揎草”、挑筋、断指、断手、削膝盖等酷刑。
这种举措震慑了一批官员，使他们行为大为收敛。
第四，朱元璋对自己培养的官员决不姑息迁就。
为了培养和提拔新力量，朱元璋专门成立了培养人才的国子监，为没有入仕的年轻读书人提供升迁机会。
他对这些新科进士和监生厚爱有加，还经常教育他们要尽忠至公，不为私利所动。
第五，朱元璋制定整肃贪污的纲领《大诰》和《醒贪简要录》。
《大诰》一书是他亲自审讯和判决的一些贪污案例成果的记录，书中还阐述他对贪官态度、办案方法和处置手段等内容。
朱元璋下令全国广泛宣传这本书；他还叫人节选抄录贴在路边显眼处和凉亭内，让官员读后自律，让百姓学后对付贪官。
第六，允许民间百姓上访。明朝允许百姓扭送不法官吏。
如果官吏在征收税粮以及摊派差役作弊枉法，百姓可以向上级官吏举报，也可以直接扭送。