仁寿四年七月，文帝病危时，太子杨广写信向杨素沟问文帝的病情，杨素回信给太子时，宫人却误送到文帝手中，文帝大怒。同时，文帝的宠妾宣华夫人告诉他，太子杨广欲行非礼。文帝这才下决心将太子杨广废掉，于是令柳述、元岩紧急召前太子杨勇前来，准备让他继承皇位。杨素得知这一消息后，马上报告杨广，杨广立即伪造圣旨，逮捕柳述、元岩，将自己的心腹派到宫里，又派亲信字文述等控制宫门，把后宫的人遭往别处。一切布置妥当后，杨广派张衡入宫侍疾，不久文帝就驾崩了。
关于文帝被弑的说法，唐朝编写的隋书在文帝和炀帝的本纪中均不采用。指控杨广“弑父”的资料都是出自野史和隋朝末年为了讨伐杨广而写的檄文，有可能为了政治需要而刻意歪曲事实，丑化隋炀帝。而唐朝既得天下，也必须将隋炀帝妖魔化，以证明自己取得帝位是顺应天意的。
也有学者说，秦始皇只留下了长城，杨广却给后世留下功在万代、远比长城更有实用价值的大运河。隋帝国的人口数量，已经创了历代之冠，国家财政实力也远远超过秦汉。