朱元璋称吴国公时朱升就是忠诚的谋士，明朝建立后，朱升成为太祖顾问，凡军政机密均与之相商。洪武元年朱升晋升为翰林学士，主持编修《女诫》，防后宫干政。朱升在研究程朱理学和历朝政治特别是宋朝政治的基础上，对封建政治常见的权臣之祸、外戚之祸、宦官之祸进行了经验性的总结后完成《女诫》，供明太祖借鉴。布衣出身的朱元璋为了加强中央集权和巩固统治，不仅要防止后宫干政，还要决心做权力最大的皇帝。
《女诫》修成后朱升呈太祖御览，朱元璋询问：“何为权臣之祸，丞相何为？”朱升禀告太祖：“老臣以为丞相位高，自秦‘宰相三公’以来，丞相总揽政务。权臣专权为权臣之祸。”
明初中书省的左右丞相既是中央“百司”的首领，又是地方“郡属”的总率，百司有奏章先“关白丞相”再上奏皇帝的职能，是否上奏由丞相决定。1369年71岁的朱升致仕（告老还乡）后，朱元璋再度御览《女诫》，发现丞相和行中书省的权力过大，威胁他的统治，认为丞相是权臣之祸之首，决意择机铲除以绝后患。
机会出现在洪武九年（1376年），布政使司下属府州县派出审计官前往京师户部，核对其所在衙门应缴纳中央府库的钱粮、军需，采用了惯用的空印文书在京城填写实际数目的办法。朱元璋得知此事后大怒，定性为欺君之罪，史称“空印案”，诛杀了数百名官员。借此，朱元璋开始整顿吏治、惩治贪腐，并大兴“文字狱”，消灭对他有威胁的人。1377年，朱元璋设“通政使司”掌收受臣民的奏章，直达皇帝，剥夺了丞相的封驳“关白”之权，这是削弱相权的第一步。接下来发生的两起丞相专权谋反案，为朱元璋废除丞相制度提供了良好机会。
早在朱元璋称吴国公时就设左右相国，右相国是李善长，左相国徐达长年统兵在外，不闻朝政。洪武初年由李善长独任丞相，到洪武四年朱元璋厌其骄纵，李善长因此称病致仕，遂以汪广洋为右丞相。洪武十年(1377年)九月，朱元璋升任胡惟庸为左丞相，1379年，胡惟庸毒死御史中丞刘基，刘基是朱元璋的谋士，朱元璋疑有隐情而责问汪广洋，并贬汪广洋于广南，之后以谋反罪赐死。
朱元璋和刘基
洪武十三年（1380年）正月，涂节自首上告胡惟庸谋反，太祖随即下令逮捕胡惟庸、陈宁和涂节等人，胡惟庸获“枉法诬贤”、“擅权枉法”、“蠹害政治”三项大罪被诛。朱元璋以此为借口于1380年废除丞相和中书省，分相权于吏、户、礼、兵、刑、工六部，使六部直属于皇帝，至此，秦汉以来的宰相制度和丞相一职废除，隋朝以来七百年的三省制被中止，朱元璋成为历史上权力最大的君主。
同时，为了纠察百官之善恶，防止阴谋犯上，设立锦衣卫（特务机构）和监察机构。洪武十五年（1382年）设锦衣卫和“三法司”（都察院、刑部、大理寺），都察院专职弹劾百官，下设十三道监察御史，弹劾地方官员，监察御史“代天子巡守”，其中纠察六部的“六科给事中 ”专察六部奏章真伪。锦衣卫下辖南北镇抚司，密辑盗、贼、奸，负责纠察功高位重之臣。锦衣卫仅对皇帝负责，有专门的法庭和监狱，可以杖杀大臣。
朱元璋废丞相后，集权于一身，国家政事和奏章无事不总。据统计，他平均每天看200份奏章，处理400余件政务，不久就感到不堪重负。为了减轻负担，朱元璋挑选了几个文人担任华盖殿、武英殿、文渊阁等殿阁大学士，协助他批阅奏章，充当顾问成为阁臣。到明成祖时，阁臣可以参与机务，协理朝政，但不得专制百官。
废除宰相制度是朱元璋加强专制主义的重要措施，锦衣卫专门纠察功高位重之臣，到朱元璋晚年，跟随他的功臣宿将几乎尽灭，洪武二十三年(1390年)，朱元璋将《昭示奸党录》昭告天下，杀了被朱元璋认为有威胁的权臣勋贵，与胡惟庸有关的李善长、李佰升、叶升、毛麒、唐胜宗、丁玉、赵庸等人被处死，其中李善长是“勋臣第一”，这是朱元璋实行专制主义的必然结果。为朱元璋戎马一生的同乡汤和、徐达善终，尤其是汤和，是朱元璋儿时的真诚伙伴，直到晚年都倍受眷顾。