旁边一个叫庆整的朝臣赶紧劝谏：“前太子杨勇已废，秦王杨俊已故，陛下的儿子并不多，何苦严厉到这个地步。蜀王性情耿介，若遭重责，恐怕会想不开，臣担心会出意外。”杨坚大怒，当场就打算把这个庆整的舌头割了，群臣纷纷劝谏才作罢。但是，杨坚余怒未消，又狠狠地对百官说：“我看应该把杨秀拉到街市上斩首，以谢百姓！”当然了，这只是气话。杨坚随即下令，由杨素专门负责对杨秀的调查审理工作。

杨广为了把杨秀置於死地，就暗中命人制造了两个木偶，将木偶缚手钉心，披枷带锁，一个写上杨坚的名字，一个写上杨谅，另外又在一张纸条上写着：“请西岳（华山）慈父圣母，发神兵收捕杨坚、杨谅的生魂，就照如此形状，不要让他们挣脱。”然后把木偶和纸条一起埋在华山脚下，最后又让杨素把它们挖出来，声称这一切都是杨秀所为。

此外，在杨广的授意下，杨素又指控杨秀“妄述图谶”。所谓图谶，是指与政治有关的预言书，古代很流行这样的东西，尤其是改朝换代的时候，民间通常会有谶语流传，也就是用一种很隐晦的方式，预言将来会有什么样的政治变动，以及会有一个什么什么样的人当皇帝之类的。据杨素称，杨秀乱引图谶，扬言京师将出现“妖异”，只有蜀地最吉祥，还撰写了一篇檄文，里头有“指定时间，兴师问罪”等语。

杨素就这样鼓捣出了一大堆杨秀谋反的证据，然后一并呈给了杨坚。

杨坚大为震骇，难以置信地说：“天下还有这种事？！”仁寿二年十二月，杨坚正式下诏，把蜀王杨秀废为庶人，囚禁在宫中，不让他和老婆孩子见面，同时还株连了一百多个与杨秀有瓜葛的官员。

隋文帝晚年的“太子废立”和“蜀王被废”事件，虽然幕后的总策划是杨广，但现场操盘手杨素无疑在其中发挥了至关重要的作用。此时的杨素官居尚书左仆射，本来就是隋帝国一人之下、万人之上的人物，如今又接连废掉了一个太子和一个亲王，其权势和威望更是达到了人臣的极点。

史称，经过这场前所未有的政治变局，杨素家族已经毋庸置疑地成为隋朝家族排行榜上的Top.1。除了权势熏天的杨素本人之外，他的弟弟杨约、叔父杨文思、杨文纪，族叔杨忌等人，“并为尚书、列卿”；杨素的那些儿子如杨玄感、杨玄纵等人，对帝国“无汗马之劳”，也一个个“位至柱国、刺史”。

自古以来，权力与金钱就是一对孪生兄弟。有了权，钱自然就跟着来了。杨素家族的资产，在当时无人可以匹敌：从京师到全国各大城市，到处都有他们的酒店、客栈、商埠、磨坊、田园、豪宅；杨素府上的仆从佣人，多达数千，姬妾也是数以千计；宰相府的建筑规模异常庞大，设施装潢也极尽奢华，其整体规格几乎可与皇宫媲美。

杨素家的亲戚朋友，一个个位居显要，胆敢得罪他们的，都会遭到贬谪诛杀，而只要你能找关系攀上杨家人，就算什么本事都没有，也照样得到提拔。满朝文武见了杨素，无不腰弯腿软、靡然景从。当时，举国上下，敢跟杨素叫板的，只有御史柳彧、尚书右丞李纲、大理卿梁毗等寥寥数人。

其中，尤以梁毗最为生猛，是唯一一个敢豁出命来跟杨素PK的人。

蜀王杨秀被废不久，梁毗就对杨素的专权跋扈深为痛恨，遂向杨坚呈上了一道密奏，说：“古人有言，人臣不可以作威作福，否则不但会害你（皇帝）的家，还会败你的国。臣发现左仆射、越国公杨素，宠幸日隆，权势日重，朝野上下皆惟其马首是瞻；忤逆者遭殃，攀附者拔擢；所交结的都不是忠义之士，所提升的都是亲朋故旧；党羽遍布朝野，势力跨州连县。四海承平之时，或许没有问题，一旦天下动荡，必成大祸根源。”密奏的最后，梁毗又把杨素说成“奸臣”，还拿他比附王莽，劝杨坚吸取历史教训，对杨素采取行动。

杨坚当时正宠着杨素，当然听不进去，随即逮捕梁毗，并亲自审问。梁毗视死如归，大声说：“杨素擅宠弄权，在朝时陷害忠良、徇私枉法，出兵在外时，也肆意杀戮将士，残忍无道。太子、蜀王被废之日，百官无不震悚，惟独杨素眉飞色舞，喜形於色，把国家的灾难当成了他的幸运。如此大奸大恶之人，陛下岂能容忍？！”听完梁毗这番话，杨坚顿时陷入了沉默。

最后，杨坚下令释放了梁毗。

无论杨坚如何器重和信任杨素，梁毗之言还是撩动了他那根极端敏感的猜忌神经。这些年来，满朝的功臣元勳几乎都被杨坚猜忌过一遍了，如今这个权倾朝野、荣宠无匹的杨素，当然也不可能是个例外。

随后的日子，杨坚便开始疏远杨素了，不久又下了道诏令，宣布杨素身为国之宰辅，劳苦功高，特准他不必亲自处理日常政务，只需每三五天来一次朝堂，讨论决定一些大事即可。同日，杨约也被外放为伊州（今河南汝州市）刺史。

杨坚对付杨素的手法，正是典型的“外示优崇，实夺之权”。

从这一刻开始，直到杨坚去世，杨素始终坐在冷板凳上，再也无权参与任何朝廷大政。可以想象，假如杨坚多活几年，杨素肯定不会有好日子过，最后的下场很可能跟那些被贬被杀的元勳功臣没什么两样。

然而，当时间走到仁寿四年（公元604年），杨坚的生命也随之走到了尽头。

这一年正月，杨坚准备前往仁寿宫，宫廷术士章仇太翼预感到杨坚此行不祥，便极力劝阻，可杨坚不听。章仇太翼最后只好说：“陛下这一去，恐怕就回不来了！”杨坚勃然大怒。

好你个妖言惑众的章仇太翼，居然敢当面诅咒堂堂的大隋天子，简直是活腻了！

随后，杨坚按照原计划出发。临出发前，把章仇太翼扔进了监狱，准备等回京之后再把他砍了。

杨坚到仁寿宫后，前面的三个月一直住得好好的，可是到了四月份，当天气逐渐转热的时候，杨坚就突然病倒了，而且此病来势汹汹，令所有人都深感意外。

七月，杨坚病情加重，预感到时日无多，终於想起术士章仇太翼的预言，便命在长安监国的太子杨广将其释放。

同年七月十三日，杨坚病逝於仁寿宫大宝殿，享年六十四岁。

盖棺论定之际，后世史家大致给了杨坚功过七三开的评价。

关於功绩，司马光在《资治通鉴》中称：“高祖性严重，令行禁止，勤於政事。每旦听朝，日昃忘倦。虽啬於财，至於赏赐有功，即无所爱；将士战没，必加优赏，仍遣使者劳问其家。爱养百姓，劝课农桑，轻徭薄赋。其自奉养，务为俭素，乘舆御物，故弊者随令补用；自非享宴，所食不过一肉；后宫皆服浣濯之衣。天下化之，开皇、仁寿之间，丈夫率衣绢布，不服绫绮，装带不过铜铁骨角，无金玉之饰。故衣食滋殖，仓库盈溢。受禅之初，民户不满四百万，末年，逾八百九十万，独冀州已一百万户。”杨坚生性严肃稳重，治理国家始终能做到令行禁止，勤於政事。每天一早就主持朝会，直到过了中午都不知疲倦。虽然对钱财很吝啬，可是赏赐功臣的时候，却毫不珍惜；对阵亡将士，必厚加抚恤，并派使臣慰问家属。爱护百姓，鼓励农桑，轻徭薄赋。自己的生活非常朴素，所有御用物品，破旧之后，仍修修补补继续使用；除了宴会之外，平时用餐，不过一盘肉而已；后宫嫔妃的衣服，也都洗了再洗，穿了又穿。天下皆受此俭朴之风的影响，从开皇到仁寿年间，民间的男子大多都穿棉布织物，不穿绸缎，装饰品也不过是一些铜铁、兽骨、兽角之类的，没有金银珠宝。所以在杨坚治下，百姓丰衣足食，国家府库充盈。隋朝建国时，天下户口还不到四百万户，到了仁寿末年，已超过八百九十万户，其中仅冀州（今河北省中南部）人口就多达一百万户。

关於过失，司马光称：“然猜忌苛察，信受谗言，功臣故旧，无始终保全者；乃至子弟，皆如仇敌，此其所短也。”然而，杨坚猜忌苛察，听信谗言，所以功臣元勳，几乎都不得善终；对自己的儿子，也都视为仇敌，这是他的缺陷。

司马光的上述评价，基本上完全参考魏征编撰的《隋书》，而《隋书》成书的时间，与杨坚在世的时间相隔很短，所以其中依据的史料和观点，基本上可以代表当时真实的社会舆论，也足以代表时人对杨坚的总体看法。

所以，上面这个七三开的功过总结，可以视为是对隋文帝杨坚在位二十四年的最为客观公允的评价。综观杨坚一生，他已经尽其所能地完成了一个开国之君的历史使命，通过他的勤政和俭朴积存下的雄厚国力，与历史上任何一个朝代初期相比，都可谓毫不逊色。换言之，他已经用一个漂亮的开局，为隋朝打造了一个百年老店的基础，若接班人给力的话，隋朝未尝不能成为继汉朝之后的又一个繁荣昌盛的朝代。

然而，令人遗憾的是，杨坚的接班人杨广并不给力。所以，隋朝最终也只能昙花一现，成为中国历史上着名的短命王朝之一。相对於日后强势崛起的大唐王朝，隋朝的短暂存在，似乎只是起到了一个鸣锣开道的作用。