隋朝和始畢可汗的矛盾始於義成公主，儘管隋朝後來叉將名宗室公主北嫁突厥，但這並不能緩解始畢可汗對隋朝的怨恨，不過這還不至幹讓突厥和大隋翻臉，始畢可汗也不會因爲個女人而向大隋發動進攻。
導致隋突關係惡化另有原因，前年，裴矩奉命出使突厥，拜訪了始畢可汗之弟叱吉設，這也是突厥的支重要力量，叱吉設擁有數十萬部衆，楊廣爲了分化日益強盛的突厥，便許諾將宗室公主許配給叱吉設，並答應封他爲南面可汗，叱吉設不敢接受公主和冊封，同時把這件事告訴了兄長始畢可汗，就是從那時起，始畢可汗就有了南侵大隋之心。
始畢可汗本意是進攻豐州，剿殺他的宿敵楊元慶，他和楊元慶的矛盾早就十幾年前，楊元慶第次出使突厥時便產生，而楊元慶先後奪走他的妹妹阿思朵和本該屬幹他的女人義成公主，這就讓始畢可汗對楊元慶恨之入骨，然而更使他無法容忍的是楊元慶和烏圖的關係，他們盟約是始畢可汗的心腹之患，尤其楊元慶前年末賣給了烏圖五千把引，使始畢可汗在去年夏天對烏圖部的戰役中失利，這便令始畢可汗視楊元慶爲大敵。
不料隋帝楊廣的意外出巡，使他改變了計劃，豐州是謀域，楊廣則是謀國，如果能俘獲大隋皇帝，那麼他得到的贖金足以使突厥躍成爲東方之主，讓隋朝臣服在他的腳下。
四十萬大軍迅速收拾營帳，厲兵秣馬，如無邊無際的草原狼羣般，向榆林縣撲去，此時楊廣還在去榆林縣的途中。
在伏乞泊以西約二十裏的片叢林中，鷹擊郎將武致遠率領二十名隋軍斥候藏身其中，他們分兵十路，直在跟蹤突厥主力。
武致遠在兩個月前率軍擊敗五百突厥騎兵，攔截兩千餘逃民後積功升爲鷹擊郎將，這次他又擔負重任，率兩百斥候跟蹤突厥主力。
十幾名隋軍正躺在樹下休息，這時大地忽然震動起來，隋軍們紛紛從地上躍起，武致遠向樹頂大喊：“發現了什麼？”
樹上有名隋軍探哨，他向遠處看了片刻，回頭喊道：“是突厥騎兵來了，無邊無際！”
武致遠當機立斷，“安家全部進森林深處！”
二十名斥候迅速向森林深處奔去，片刻如果烏雲般的突厥騎兵鋪天蓋地而至四十萬騎兵儼如人的海洋呼嘯着，向西方席捲而去，隊徑長達數十裏。
隋軍斥候躲在森林深處，他們依然能感到大地的顫動，武致遠攀在株大樹上，向數里外的突厥大軍探望，他基本上已經能判斷對方的人數和行軍方向，南方是他們無法逾越的長城如果他們去馬邑郡，要麼向東走，從東面盡頭越過去要麼向西走，西面能繞過長城處便是榆林郡。
“放鷹！”
隨着武致遠聲令下，只獵鷹從隋軍攜帶的籠子裏飛出，在森林上空盤旋幾圈，隨即向西飛去。
坐鎮榆林的大將是督軍楊家臣，他肩負着極爲重要的任務，這幾天他緊張得夜不能眠，繃緊神經，全神貫注地等待着東面的消息，楊廣已經向榆林郡而來的情報他得到了，但突厥大軍的情報他卻沒有得到。
中午時分，只獵鷹從西方盤旋而至，幾名士兵大喊起來，“督軍軍，獵鷹來了！”
楊家臣奔出房間，望着天空的飛鷹，是來送信的鷹，片刻，飛鷹落下，鷹奴將份情報遞上，楊家臣看了邊，立刻傳令道：“通知滿城民衆，突厥大軍即將殺到，願意西撤者可隨軍撤離！”
他又取出封楊元慶留下的信遞給士兵，“把這封信立刻送往皇帝處。”
榆林城內沸騰了，隊隊隋軍士兵騎馬在街上奔馳大喊：“突厥大軍即將殺到，趕快向西撤離！”
城內的居民片混亂，萬多住在城內的居民扶老攜幼，帶着值錢的家當，騎着馬驢，趕着馬車和騾車紛紛向西撤離，邊疆的好處就是幾乎家家戶戶都有畜力，再不濟的人家也會有頭驢子，很快，城外便彙集成了條浩浩蕩蕩的西撤隊伍，三千隋軍騎兵護衛着民衆向西撤離，離榆林郡最近的座縣城便是河陽縣，在兩百裏外。
楊廣的車駕離榆林縣城還有六十裏，大軍的速度並不快，護衛着巨大的六合城緩緩向西移動。
這時，幾名騎兵從西方疾速奔來，隊巡邏兵上前攔截住他，“什麼人，妄闖聖駕！”
爲首騎兵拱手道：“我是榆林郡駐軍，有緊急情報要稟報聖上！”
“什麼事？”
“突厥四十萬大軍正向榆林郡方向殺來，請聖上緊急撤退！”
巡邏騎兵首領大喫驚，“你跟來我！”他帶着報信驛兵向六合城奔去
刻鐘後，楊廣接到了楊元慶的信，他陰沉着臉打開信，開頭便是：‘豐州總管楊元慶上敬吾皇陛下”
楊廣冷哼聲，又繼續向下看，他下愣住了，約四十萬突厥大軍正向榆林城殺來
楊廣沉吟半晌，問送信士兵，“楊元慶在榆林城嗎？”
“櫱報陛下，楊總管今天上午剛到榆林郡，但聽說突厥大軍殺來，便率領城內民衆向西撤離了，我們的斥候發現，至少有四十萬突厥大軍，發現時在百五十裏外，現在估計離榆林城還有百裏，總管請陛下立刻南撤。”
楊廣揮揮手，“帶他下去！”
這時，旁邊的宇文述小心翼翼道：“陛下，會不會是楊元慶的虛兵之計？用突厥來驚退我們。”
楊恭道有些擔心，“陛下，如果真有四十萬突厥騎兵，那問題就嚴重了，且相信楊元慶，火速南撤。”
就在這時，御書房外傳來疾奔聲，有侍衛在門外急報，“陛下，長城守軍傳來緊急消息，北方發現數十萬突厥騎兵，殺向榆林城方向，極可能是繞長城過來。
楊廣驀地站起身，棲元慶的話他可以不信，但長城守軍的消息他卻不能不信，他驚得聲音都變了，“快，火速南撤！”
突厥四十萬大軍已在百餘里之外，按照他們的速度，半天就能追上北巡隊伍，楊廣也不敢再做六合城，他丟棄了六合城，改成騎馬，十萬大軍丟下各種雜物輜重，倉惶向南撤逃。
更時分，楊廣得到消息，四十萬突厥大軍已經追到六十裏外，攔截突厥大軍的五千隋軍已全軍覆沒，楊廣驚恐萬分，他顧不上渾身疲憊，拼命向南奔逃，但是他們隊伍中宮妃和大臣衆多，根本跑不快，這樣下去，天亮前他們必然會被突厥大軍追上。
左衛大將軍宇文成都奔至楊廣面前大喊道：“陛下，去雁門關，利用地形阻擂突厥軍。”
此時楊廣已是六神無主，宇文成都提出建議，楊廣連聲答應，“去雁門郡！”
十萬禁軍皆嚇得膽寒心戰，路狂奔，四更時分，楊廣隊伍過了雁門進入了雁門縣城，雁門縣在楊諒之亂時損毀嚴重，後來重建，重建後的雁門縣城牆高大堅固，周長二十裏，是座上縣，人口數千戶兩萬餘人，楊廣陣風似的衝進了縣城，心才稍稍平定下來。
此時代州總管空缺，雁門郡太守呂玉便是最高主官，他聽說皇帝逃難而來，嚇得他連忙騰出官署給楊廣和宮妃，又聯絡妄戶人家安排百官，十萬禁軍只能隨意入住民宅，人喊馬嘶，城內片混亂。
天剛亮，太守呂玉帶着數十名衙役將各酒肆做好的酒菜送到了郡衙內，郡衙已經臨時改成雁門行宮，數千名左右衛士兵將郡衙四周圍得如鐵桶般，酒食先送進去了，呂玉等了半晌，名宦官出來宣旨，“聖上有旨，宣太守呂玉覲見！”
呂玉跟着宦官走進了原本屬幹他的郡衙，走到皇帝臨時御書房，他心中不由有些膽戰心驚，聖上的御書房竟然選中了他的辦公房，地磚下面藏有些東西，可千萬別被發現。
“喜太守，陛下命你覲見！”
呂玉戰戰兢兢走進了房間，顆心才稍稍放下，地上鋪了塊厚厚的地毯，而聖上的坐榻就是他的藏物之處。
“臣呂玉參見陛下！”
楊廣剛剛喫了點東西，喝碗參茶，終幹緩過神來，但他依舊憂心忡忡，突厥四十萬鐵騎，小小的雁門城能否抵擋得住？
“呂愛卿，聽說你參加過對楊諒之戰？”
“回稟陛下，仁壽四年，當時代州總管是李景，馮孝慈是司馬，臣是司法，楊諒派喬鍾葵率五萬大軍攻城，我們只有幾千人，堅守了個多月，後來是楊義臣和楊元慶來救援，才最終擊敗了楊諒叛軍。”
楊廣點點頭，“都是十幾年前的往事了，李景死了，楊義臣也死了，馮孝慈戰死，只剩下楊元慶，偏偏他哎！”
這次楊元慶及時派人來報信，說明他心中還沒有真的叛隋，這便使楊廣心中對楊元慶的怨恨稍稍減輕了那麼點點。
“現在城中有多少軍隊？”
“城中有代州軍萬人，普通民衆兩萬，只是”
“只是什麼？”楊廣心中有種不祥的感覺，連忙冉道。
呂玉說出了他最擔心的事情，“只是城中倉庫只有兩萬石存糧，最多隻夠聖上大軍和城內軍民食用二十天，而且草料嚴重不足”