除了愈演愈烈的农民起义有一定的规模外，在大隋的天下，地主阶级以及贵族在杨广的南巡后也开始举起反旗，反对杨广。

率先起义的是刘武周，他出身豪富之家。刘武周勇猛迅捷善于骑射，跟强横任侠之徒交往密切。他的哥哥刘山伯曾警告他说：“你不加选择地交朋结友，最终会犯灭族大罪的。”多次辱骂他，刘武周因此离家到洛阳，替太仆卿杨义臣当士卒，应召入伍征讨辽东，凭战功被任命为建节校尉。

东征回来后，刘武周返归马邑，担任鹰扬府校尉负责训练士兵。在他造反的当时，马邑郡的太守是王仁恭，刘武周是他手下的鹰扬府校尉。刘武周是本地土豪，在马邑很有号召力，加之刘武周本人骁勇善战，因此王仁恭非常器重他，让他担任自己的亲兵队长，负责自己的起居安全。不料这亲兵队长的职务给刘武周提供了方便，他竟然与王仁恭的一名侍妾发生了私情。

刘武周虽然胆大，却也害怕事情败露，又见天下已经动乱，便暗藏野心，就在郡中散布谣言说：“现在百姓饿得要命，田野上死人压着死人，王太守关着粮仓不愿救济，哪管百姓的死活啊！”用这些话激怒了群众，百姓都渴望发泄着愤怒怨恨。刘武周见民心已经动摇，就诈称生病不起床，老家的强横凶顽之徒都来问候，于是他杀牛打酒招待他们，在酒席上他大吃大喝并口出狂言说：“造反才能像这样生活，英雄好汉就要坚守志向，一起死在溪谷山沟也在所不辞。如今仓库里堆积的粟米都要烂了，谁敢跟我去拿来？”这班人都赞同响应。他跟同郡的张万岁等十多人瞅准王仁恭正在处理公务，刘武周假装去禀告事情，张万岁从背后溜进来，在郡厅斩杀了王仁恭，拿着他的首级到号令全城。事先约好的各路豪杰也一起动手，没费什么力气就控制了局面。于是他下令开仓放粮救济贫苦百姓，在郡内发送快报，所属各县都归附了他，得到士卒一万多人。刘武周当仁不让，自称太守。参加这次起义的还有后来上了凌烟阁唐初大将尉迟恭。

刘武周起兵的当月，雁门郡承陈孝意、虎贲将王智辩就领兵前来平叛，包围了刘武周辖下的桑乾镇。这时马邑全郡仅有兵力万余人，靠这点实力是不足以自保的，为此。刘武周派出使者向东突厥称臣表示归附。

马邑和雁门是隋朝抵御突厥入侵的北方最前线，突厥多次进攻都被守军凭借地势和城防击退，忽然马邑自己要求归顺，而且又是和雁门守军冲突。如此理想简直就没有理由拒绝。东突厥立即派出援军，配合刘武周一同发起反击，结果雁门军溃败，狼狈逃回雁门。有了突厥这个靠山，刘武周乘胜大举扩张，三月。占领楼烦郡，又攻克了杨广的行宫汾阳宫，俘获了大批珍宝和宫女，刘武周就用俘虏的美女珠宝进贡东突厥始毕可汗。