建德四年七月，北周军队兵分数路，对北齐发起了大规模进攻。武帝御驾亲征，自率主力大军六万进攻河阴（今河南孟津县北）；杨坚奉命率领舟师三万，自渭水进入黄河，负责策应主力及各路偏师。

八月，北周军队一路势如破竹，各路人马一共攻克北齐三十余座城池。其中，武帝和齐王宇文宪分别攻克河阴、武济、洛口等地，迅速进围洛阳，但却在此遭遇齐军顽强抵抗。九月，北齐援军大举南下，偏巧武帝又在这个时候患病，北周军队为了保存有生力量，不得不放弃已经占领的三十余座城池，全线撤军。杨坚担心舟师逆流西返很容易被齐军追及，遂下令焚毁舰船，与陆军主力一起撤回关内。

此次东征虽然未能取得胜利，但从战争一开始便取得的辉煌战果来看，周军的战斗力显然远远高於齐军。有了这样的判断，武帝灭齐的决心便越发坚定了。用他自己的话说，正是这次东征让他“前入齐境，备见其情”，才发现“彼之行师，殆同儿戏”，所以有了“穷其巢穴，混同文轨”的必胜信念。

建德五年（公元576年）十月，经过一年时间的养精蓄锐和周密部署，武帝再度集结重兵，对北齐发动了最后一次致命的打击。这一次，杨坚被任命为右翼第三军的主将。十月底，武帝亲自督战，指挥各军攻克了北齐的军事重镇晋州（今山西临汾市）。齐后主高纬亲率大军从晋阳（今山西太原市）南下，对占领晋州的周军进行了猛烈的反攻。两军在此激战了一个多月，齐军始终未能夺回晋州。

十二月六日，武帝亲率八万大军，与齐军在晋州城外展开决战。战前，武帝策马巡视了各军阵地，对各军主将一一勖勉，极大地鼓舞了官兵士气。与之形成强烈反差的是，在这个决定帝国命运的重大时刻，齐后主高纬居然还把宠妃冯小怜带在身边，片刻不离。两军开战后，齐军东翼稍稍退却，跟高纬一起在山岗上并辔观战的冯小怜便花容失色，惊呼“我军败了”，高纬遂不顾左右劝阻，带着冯小怜仓惶北逃。

皇帝一跑，齐军顷刻溃散。武帝挥师追击，於十二月中旬攻克晋阳。高纬再度北窜，本欲流亡突厥，被部下谏阻，才向东逃回邺城（北齐都城，今河北临漳县西南）。此时，北齐人心已去，凡北周军队所到之处，各地官员守将皆开门迎降。高纬惶恐无措，遂听信术士“当有革易”的谶言，於次年正月传位给年仅八岁的儿子高恒，自称太上皇，企图以皇位的更易禳解灭国之灾。

建德六年（公元577年）正月十八日，武帝率周师进抵邺城。次日，高纬仅带百余骑弃城而逃，携幼帝亡奔济州（今山东荏平县西南）；邺城旋即陷落。两天后，高纬逃到济州，再次把儿子的皇位禅让给任城王高湝，然后继续逃亡，打算从青州（今山东青州市）南下，投奔陈朝。正月二十五日，当高纬带着冯小怜和幼子逃至青州附近的南邓村（今山东临朐县西南）时，被一路尾追的北周前锋尉冲勤追及，全部被捕，随后押送邺城。

稍后，杨坚奉武帝之命，与宇文宪联兵北上，进攻任城王高湝驻守的冀州（今河北冀州市）。高湝出兵迎战，被周军打得大败，旋即被俘。高湝是东魏实际统治者高欢唯一一个在世的儿子，辈尊望重，且名义上受幼帝禅让，称得上是凝聚北齐人心的最后一面旗帜。如今这面旗帜黯然倒下，意味着北齐已经彻底丧失了与北周抗衡的资本，只能乖乖接受被北周吞并的命运。

至此，立国二十八年的北齐宣告覆灭。

灭齐之后，武帝论功行赏，擢升杨坚为柱国、定州（今河北定州市）总管，让他出镇河北。北齐刚刚平定，河北显然是亟需镇抚的要地，杨坚能够获得这个任命，足见通过此次灭齐之战，他的能力已经得到了武帝的认可。

然而，当杨坚风尘仆仆地进入定州城，还没来得及熟悉当地的风土人情，一纸调令便从长安飞到了他的手中——武帝决定将他调往南兖州（今安徽亳州市），并命他即刻赴任。

杨坚强烈地意识到，武帝对他的猜忌之心犹存！

原因很简单，就当时北周的战略格局而言，南兖州的战略价值明显要比定州小得多。虽然从地缘角度看，南兖州与陈朝接壤，一般来讲也属於军事重地，但是，眼下北周的当务之急却不是对付陈朝，而是肃清北齐的残余势力，镇抚刚刚归降的北齐官民，让长安的统治权能够渗透到中原与河北的每一个角落。只有做完这一切，彻底安定北方的局势，继而积蓄力量，才谈得上南征陈朝，完成统一大业。换言之，南兖州的战略意义，势必要到几年以后才能显现。可如今，武帝却迫不及待地把杨坚从河北调往南方，摆明了就是不信任他。

让杨坚百思不解的是，既然武帝一开始敢把定州交给他，那就说明信任他，可为什么这么快就出尔反尔、改弦更张了呢？

这个问题的答案，与定州的一则传说有关。

自从北魏末年以来，定州的西门就长年关闭，从未打开过。没人知道这是为什么，只知道朝廷不允许。直到北齐初年，定州官民感到出入太不方便，就上奏当时的齐帝高洋，要求开启西门，“以便行路”。没想到高洋竟然不批准，还说了这么一句话：“当有圣人来启之。”（《隋书·高祖纪》）定州官民大为郁闷，但也没办法，只能一边忍耐一边企盼“圣人”早点降临。

杨坚被任命为定州总管后，当然不会理睬北齐朝廷的什么狗屁规定，到任的第一天就命人打开了西门。当关闭多年的城门訇然大开的一瞬间，定州百姓顿时欢呼雀跃。欣喜之余，人们也不约而同地想起了高洋当年说过的话——当有圣人来启之。

莫非，杨坚就是传说中的“圣人”？！

於是，从杨坚来到定州的那一天起，有关他是圣人的说法就在河北传开了。而时隔不久，武帝的调令就发到了定州。

尽管没有证据表明武帝是听了这个传说才把杨坚调离河北的，但这种可能性肯定存在，尤其是考虑到围绕在杨坚身上的种种天命预言，我们就更有理由相信，武帝心里一直没有排除对杨坚的猜疑，所以不管听到什么传言，都有可能立刻采取防范措施。更何况，燕赵自古多豪杰。作为河北的军事要地，定州的民风历来彪悍。在武帝看来，若杨坚以定州为根据地，在河北长期经营，未来的势力必定难以估量。因此，最好的办法就是赶紧把他调走。

接到调令后，杨坚大为不快，但圣命难违，他也只好打点行囊准备启程。就在这时候，一位密友特地从附近的常山赶过来见他，并且说了一句令他心惊肉跳的话：“燕、代精兵之处，今若动众，天下不足图也。”燕赵之地多有精兵猛将，如今若聚众起事，要夺取天下也不是什么难事。

这个怂恿杨坚起兵造反的人，名叫庞晃，时任常山太守。早在杨坚十几年前出任隋州刺史时，在襄阳任职的庞晃便因公务往来与其相识，“知高祖（杨坚）非常人，深自结纳”。两人结为好友后，庞晃就曾当面对杨坚说：“公相貌非常，名在图籙。九五之日，幸勿相忘。”杨坚当时笑着叫他别乱说话，可实际上已经在心里把他视为知己。从此，两人便“情契甚密”，“屡相往来”。

（《隋书·庞晃传》）这些年，庞晃看见杨坚屡遭排挤，时常替他抱憾叫屈，如今又见他被武帝猜忌，更是愤懑不已，所以才会一见面就劝他造反。

不过，杨坚之所以是杨坚，就在於他的隐忍功夫远远超越常人。在杨坚看来，被皇帝猜忌固然不爽，失去定州这个颇具军事价值的地盘固然令人遗憾，但是，这些都不足以作为起兵叛乱的借口，更不能成为争夺天下的理由。换言之，在宇文邕刚刚吞并北齐、整个北周帝国气势如虹的这个时候贸然起兵，无异於飞蛾扑火，自取灭亡。