因为有了猜忌，杨坚就特别的注意杨勇的东宫生活。而后有一年的冬至，朝廷内外大臣都到东宫拜见作为太子的杨勇，而杨勇也是高兴的摆开礼乐很自然地接受。这事被父亲杨坚知道后，杨坚非常的不高兴。特意召来朝臣问：“近闻至节，内外百官相率朝拜东宫，是何礼也”？太常少卿辛亶奏道：“于东宫是贺，不得言朝”。杨坚还是不满的说道：“改节称贺，素日亲厚者三数十人酌情而往可也。何以有司征召，群臣迤逦而至，一时普集，太子法服设乐以待之？东宫如此行止，大违礼制。接着杨坚下诏“礼有等差，君臣不杂，爰自近代，圣教渐亏，俯仰逐情，因循成俗。皇太子虽居上嗣，义兼臣子，而诸方岳牧，正冬朝贺，任土作贡，别上东宫，事**则，宜悉停断。

从这之后的杨坚开始对杨勇的太子地位和权力有了重新的认识并作出调整。接着杨坚下令选宗卫侍官的时候，借机把杨勇的侍卫年轻有力的都调走，为此全力支持太子的大隋第一宰相高颖对杨坚说：“若尽把强壮的卫士挑选走了，恐怕东宫的侍卫力量太差，太子有可能被不法分子威胁到安全”。杨坚听了之后很不高兴，对他说：“我时常东跑西跑的，故需要有较强的卫士。太子呆在东宫，身边何必要有那么多壮士。重兵保卫东宫这个办法流弊极大。依我看，东宫的保卫由皇宫卫队兼管着就行了。我熟悉前朝的旧法，你不要走过去的老路”。高颖看到杨坚的坚决也就不再说什么了。

开皇十一年（591年）一月，杨勇的太子妃元氏突然病故。对此杨勇的母亲孤独皇后怀疑元氏不是自然死亡，而杨坚更是认为是杨勇派手下的人下毒弄死元氏的，对此杨坚把杨勇狠狠的骂了一顿。杨勇的太子妃元氏出身北魏皇族，颇得独孤皇后喜爱。可能是因为这场婚姻就像杨广的婚姻一样政治联姻成分很大，而杨勇也没有弟弟那么幸运碰到合得来的，所以杨勇在娶了元之后对元氏没有什么感觉，甚至还有很排斥。在东宫的时候杨勇就喜欢上一个叫云昭训的，元氏死后杨勇立马把东宫的后院大权交给了云昭训，并私下说自己和云昭训生的儿子将来也会继承自己的事业。这云昭训出生伶人，对于极其看重门第的杨坚夫妇来说简直无法容忍的。想到自己的万世基业将来会交给这一个低贱人生的儿子手里，杨坚就感到一阵恶心。于是杨坚把在京城四处招摇的云昭训父亲赶出长安，但是杨勇一点都不在意父亲的做法，照样按照自己的性子在东宫过着优哉游哉的生活。

根据历史的记载，杨坚此时似乎对杨勇的行为与态度有点忍无可忍了，认为“此儿不堪承嗣久矣”。这时的杨坚便产生了废掉杨勇的打算，故而开始派人调查杨勇的劣迹，同时找一些大臣放出自己想废掉杨勇的口风。例如在一次召见韦鼎时就很自然的问道：“诸儿谁得嗣？”这时杨勇还是太子，是他法理和确实的继承人，但杨坚还是装着糊涂问一个很“白痴”的问题。韦鼎也是一个聪明人，对于这个棘手的问题答曰：“至尊、皇后所最爱者，即当与之，非臣敢预知也”。

后来由于孤独皇后的不喜欢杨勇的生活不检点，对杨坚吹枕边风，使得杨坚下定决心废掉杨勇。当然对于一切的外在因素个人觉的杨坚废掉杨勇的最基本原因是杨勇的太子地位威胁到了杨坚皇权的长期性。为废掉杨勇杨坚分别对支持杨勇的**势力进行了分化与清洗。