宰相制度废除于明朝的洪武年间，也就是明太祖朱元璋在位期间。明朝初年，宰相胡惟庸结交朋党，打击异己，导致其权倾朝野，擅权独揽，朱元璋深感宰相权利之大，乃至皇权受到威胁，随后胡惟庸案爆发，朱元璋借此案废除一千五百余年的宰相制度。
在中国的封建制度体系中，宰相制度是联接皇帝制度和官僚制度的重要因素。自先秦萌芽以来，经过不断的发展演变，绵延了近一千多年。对中国封建社会的稳定与发展都作出了重要贡献。
在有关先秦史料中，我们看到的“令尹”实际上就是宰相，秦统一后，国家变大，事务增多，皇帝一个人很难处理纷繁复杂的国是，所以继续沿用先秦已经萌芽的宰相制度，并极力推崇，发展。宰相在协助皇帝处理国家日常事务以及职领百官方面，可以说发挥了极大的作用。
但是，随着宰相制度的发展，宰相的权力日益膨胀，发生了皇权的争夺。所以，在魏晋南北朝时期，初步形成了中书、门下、尚书三省，三省制度在隋唐时期发展到顶峰。中书省起草的诏召制救，要经门下省审议，门下省有权驳还诏书或封还诏书。尚书省是最高执行机关，“总领百官，庶务皆会而之”。三省长官都是宰相，这就使与皇权相争的相权一分为三，削弱了对皇权的威胁，最终促进了整个封建官僚制度和封建政权的稳定。
宋代以后，宰相制度进一步衰落，明代初年，出现了宰相专权，经过胡惟庸案后，朱元璋彻底废除了宰相，代之以六部。六部直接对皇帝负责。