元至正二十一（元1361年）正月，朱元璋被小明王封为吴国公。
尔后，朱元璋仿照元朝的中心组织系统，对所辖组织进行改造。
元朝在京师树立中书省，总领百官，处理全国政务；在当地树立行中书省，掌管辖区内的军政业务。
元朝的枢密院“掌全国兵甲秘要之务”（《元史·志·百官》），是全国最高军事组织，位置低于中书省，“秩从一品”（《元史·志·百官》）。而中书省设右丞相、左丞相各一名，均为正一品。
元朝初期有讨伐之事，才在当地树立行枢密院，不过仅仅暂时组织，归于战时编制，“事已则罢”（《元史·志·百官》）。
元至正二十一（元1361年）三月，朱元璋改江南行枢密院为大都督府，是其时最高军事组织，录用侄子朱文正为大都督，“控制中外诸军事”（《明太祖实录》）。
朱元璋把从前树立的分枢密院为改中书分省，连续调一批高档武将入中书省，邵荣为中书省平章政事，徐达为中书省右丞，邓愈、常遇春为中书省参政，汤和为中书左丞；由行中书省统辖当地戎行。
元至正二十二年（公元1362年 ）二月， 朱元璋改中书分省为浙东等处行中书省，录用李文忠为左丞，统率衢州、处州、广信、严州、诸全的戎马。
元至正二十四年（公元1364年 ）正月，朱元璋在应天府自称吴王，设置中书省，封李善长为右相国、徐达为左相国，均为正一品；此刻与元制相同，右在左上，李善长在徐达之上。常遇春和俞通海被封为平章政事；三月，汤和被封为平章政事。平章政事为从一品，参知政事从二品。
三月，朱元璋树立大都督府官制，大都督从一品，左右都督正二品，同知都督从二品，副都督正三品，佥都督从三品，阅历从五品，都事从七品。
树立各行省官制，平章政事从一品，左右丞正二品，参知政事从二品；与中书省平章政事、左右丞、参知政事的等级相同，这一点也与元制相同。
树立都镇抚司官制，都镇抚从四品，副镇抚从五品，知事从八品。
树立金吾侍卫亲军都护府官制，都护从二品，阅历正六品，知事从七品，照磨从八品。
树立统军元帅府官制，元帅正三品，同知元帅从三品，副使正四品，阅历正七品，知事从八品，照磨正九品。
树立各万户府官制，万户正四品，副万户从四品，知事从八品，照磨正九品。
树立各卫亲军指挥使司官制，指挥使正三品，同知指挥从三品，副使正四品，阅历正七品，知事从八品，照磨正九品；千户所正千户正五品，副千户从五品，镇抚、百户正六品。各卫下辖必定数量的千户所，这是一种驻防系统，而非战时编制。
命令废置设在各地的翼统军元帅府，树立武德、龙骧、豹韬等十七卫亲军指挥使司。后来，跟着朱元璋势力范围的不断扩大，在各地连续设卫。
不久，朱元璋录用统军元帅郭子兴（不是朱元璋的岳父）为鹰扬卫指挥使，傅友德为雄武卫指挥使，左翼右副元帅金朝兴为龙骧卫指挥同知。
四月十一，朱元璋又命令改各门总管府为千户所，设正副千户各一名。
针对归降将领仍沿用旧官职形成的紊乱，朱元璋规则部伍法，部下满五千者为指挥，满一千者为千户，满一百者为百户，满五十者为总旗，满十人为小旗。
十月，省都镇抚改隶于大都督府，秩从四品，掌调各门守御千户所。撤掉金吾侍卫亲军都护府、统军元帅府、万户府，相应责任归于大都督府，“革金吾侍卫亲军都护府、统军元帅府、万户府、并都护府断事官、知事于大都督府”（《明太祖实录》）。设置拱卫司，担任统领校尉，隶归于大都督府，正七品。
大都督朱文正差遣参政何文辉、指挥薛显等人征讨新淦邓仲谦，令平章汤和率兵征讨江西永新诸山寨。尽管大都督和中书省平章都是从一品，但统兵权在大都督手里，平章汤和受大都督朱文正的指挥调遣。
元至正二十七年（公元1367年 ）十月朱元璋命令改百官礼仪，不再与元制相同，左在右上。