明孝陵康熙帝手书“治隆唐宋”石碑。
明朝建立的前一年，史学界称之为吴元年，也就是1367年，虽然国家还未统一，政局尚动荡不安，朱元璋就已经开始考虑未来国家政治权力的运行分配问题，尤其是如何加强自己的皇权并限制官员的权力。朱元璋虽然没怎么读过书，但是他却非常注重总结历史经验，寻找巩固皇权统治的办法。明太祖认为元灭亡的重要原因之一就是“人君不能躬览庶政”，也就是君主不能够亲政，最终导致“主荒臣专，威福下移，由是法度不行，人心涣散，遂至天下大乱”。因此，他需要吸取元灭亡的教训，加强君主专制。
但他又同时明白，虽然他贵为皇帝，掌握着至高无上的权力，但国家大事小事庶多，他又不可能事必躬亲，仅凭他皇帝一人之力是不可能治理好国家的，需要把一些权力分配给大臣，让他们去替自己处理相关政事，这就是在皇权专制的情况下如何分权的问题。朱元璋从起义中发家，他深刻明白一个道理：臣权过大就会影响皇权，进而影响统治。因此，他又不放心把权力交给大臣。于是，他就想到了一个办法，把权力分给不同的大臣，并让他们相互制约，从而既能保障皇权的至高无上，又可以使皇帝的旨意顺利地通过大臣推行到全国各地。
朱元璋的做法就是在承袭元代官制的基础上推行“三府分立”。1367年，朱元璋借鉴前朝的做法设置御史台，设左、右御史大夫、御史中丞和侍御史等一系列官职，并任命邓愈、汤和为御史大夫，刘基、章溢为御史中丞，同时下旨告诉他手下的大臣：“国家立三大府，中书总政事，都督掌军旅，御史掌纠察。朝廷纪纲尽系于此，而台察之任尤清要。卿等当正己以率下，忠勤以事上，毋委靡因循以纵奸，毋假公济私以害物。”朱元璋在这里虽然强调的是御史的重要性，但也奠定了明代官制的基本框架，那就是实行政权、军权和监察权分立，也就是“三府分立”。
“三府分立”主要有以下几个方面：行政方面，废丞相制，把职权分给六部。明代初年曾承袭元制，在朝廷设立中书省，置左右丞相。在实际运行过程上，朱元璋觉察到丞相权力过大，已经影响威胁到皇权，因此他决心废除丞相，把权力集中到自己手中。明洪武十三年（1380年），明太祖借有人告发丞相胡惟庸有不法行为，一方面，将胡惟庸以擅权枉法的罪名灭族抄家，另一方面，宣布撤销中书省，废除丞相，升格六部，由其亲自掌管，国家政事由皇帝一人决断。为了防止后人再设丞相，他在洪武二十八年（1395年）敕谕群臣：“国家罢丞相，设府、部、院、寺以分理庶务，立法至为详善。以后嗣君，其毋得议置丞相。臣下有奏请设立者，论以极刑。”明太祖废除丞相，把中央大权分给六部，六部尚书直接对皇帝负责，这样秦汉以来的丞相制度从此废止，皇帝的权力空前提高。但在后来，皇帝又感到一切乾纲独断，日理万机，实在太辛苦，所以又依宋制设华盖殿、武英殿、文渊阁、东阁诸大学士，备皇帝顾问，“传旨当笔”，充当秘书，帮助皇帝处理政事，逐渐形成了内阁制度。内阁在明中后期发展成熟完备，职权越来越大，名义上是帮助皇帝处理政事的秘书处，但实质上“参与机务”，是国家的中枢政务机构，入阁者虽无丞相之名，但却有丞相之实，阁权就相当于相权，内阁的地位要远高于六部。