晋阳起兵是历史上的一件大事，正是它造就了一个大唐盛世。但最初李渊父子准备起兵的时候是秘密进行的，李渊是隋朝的官员，一旦在起兵的准备阶段被隋炀帝得知，势必会引来隋军平叛，这是李渊不愿意看到的，因此，即便是招兵买马都是在有策略的进行，一是暗地里招兵买马，一是大张旗鼓以平定刘武周叛乱和攻打突厥为由招兵买马。虽然李渊父子做得很隐秘，但是还是有两个人察觉到了李渊的心思，知道李渊要效法杨玄感起兵反隋了，这两个人就是李渊的副手王威和高君雅。
617年，隋炀帝正式任命李渊为太原留守，总领太原诸事，而郡丞王威和武牙郎将高君雅是其副手，有牵制、监视李渊的意思。此后不久，全国各地的起义如火如荼的进行，李渊知道自己起兵的时机已经成熟，于是暗地里就让李世民、刘文静、长孙顺德等人招兵买马。而且当时刘武周占据汾阳宫反叛，突厥大军也蠢蠢欲动，不过李渊面上并不着急，他没有出兵的意思，也没有不出兵的意思，就是在等，等局势越来越严峻的时候后：
高祖乃集将吏告曰：“今吾为留守，而贼据离宫，纵贼不诛，罪当死。然出兵必待报，今江都隔远，后期奈何？”将吏皆曰：“国家之利可专者，公也。”
李渊没有权利私自招兵买马，必须要上报给隋炀帝，得到批复后才可以，但是李渊不愿意让隋炀帝知道，因此才等到局势很严峻了，才问部下这个问题，当然这都是做给王威和高君雅看的，这两个人是隋炀帝的心腹。局势危急，耽搁不得，于是大家都让李渊不必走程序而直接招兵打仗。颇有点将在外君命有所不受的意味。
于是李渊就大张旗鼓的招兵买马，不过十天就招到了一万兵马，但是令王高二人疑惑的是，李渊将这些兵马全部交给了自己的人管理，刘文静、长孙顺德、刘弘基等人。刘文静还好说，至少还是个晋阳令，但长孙顺德是李渊儿媳长孙氏的族叔，原本是个逃兵，不愿意参加征讨高句丽的战争才躲在了李渊这里，而刘弘基更是个亡命之徒，坐过牢盗过马，后来投靠了李渊，这很明显都是李渊的自己人。
这引起了王高二人的警觉，二人觉得李渊很可能有了异心，但是两人并没有想着要去江都告诉隋炀帝，而是准备先斩后奏，除掉李渊后到江都领赏。两人准备邀请李渊到晋祠祈雨，然后对李渊不利，不过两人的计划却被晋阳乡长刘世龙得知。刘世龙转眼就告诉了李渊，然后王高二人就被李渊设计除掉了。
等一切准备事宜就绪，晋阳起兵就开始了，但是李渊父子不知道的是，有一个人知道李渊有异心并且已经出发去江都准备告诉隋炀帝，好让隋炀帝提前做好防范，这个人就是大唐开国功臣之一的李靖。
616年，李渊曾经奉命和马邑郡守刘仁恭迎击南下犯边的突厥，而这个时候的李靖正是马邑郡丞，自然也曾跟着李渊攻打突厥，正是在这短暂的相处中，李靖察觉到李渊并非池中之物，很可能会在不久的将来走上和杨玄感一样的道路，但是李靖一个人的力量毕竟是有限的，他做不了什么，只能选择告诉隋炀帝。
于是李靖就将自己装扮成囚徒的模样，躲过了李渊的检查，然后向江都进发。但是很不幸的是，等李靖到达长安的时候，全国已经乱作一团，道路已经被封闭，很难通行，李靖就这样被困在了京城。然后李渊父子就攻进了长安，将李靖抓捕起来。这个时候的李靖知道隋朝已经不可能救活了，于是在李渊即将斩杀他的时候，及时高呼：
“公起义兵，本为天下除暴乱，不欲就大事，而以私怨斩壮士乎！”
李渊本来就想收人心，而且也确实缺少人才，于是将李靖放了，自此之后，李靖就成了李唐的人，然后开始跟随李孝恭和李世民平定天下，并在天下平定之后成为大唐最重要的军事统帅。