召集各位将领商议，提自己招募兵丁。君雄和王威迫于当时的形势，只好同意说：“公地兼亲贵，同国休戚，若俟奏报，岂及事机；要在平贼，专之可也。”于是，李渊命李世民与刘文静、长孙顺德、刘弘基、窦琮等人去招募士兵。不多久，便募兵近万人。这支队伍由李渊、李世民父私自控制和直接指挥，是晋起兵的主力。

李渊父大量募兵，毕竟无法完全掩盖其真实的想法，况且其所用将领长孙顺德、刘弘基是为了避难征辽诏令而逃到太原的，而窦琮也是逃犯。君雅、王威见此，怀疑李渊有谋反之心，于是就暗中策划利用晋祠祈雨的机会，将李渊父诱骗来并全杀死。不料此事被经常王、家的刘文龙得知，于是刘文龙立刻将此事报告给李渊。因此，李渊决定先发制人。

公元617年初夏的一天夜里，李渊命令长孙顺德、赵文恪等人带领500壮士，和李世民的兵一起埋伏于晋城外，严密封锁。第二天清晨，李渊与君雅、王威在留守府大厅议事。照计划，刘文静召鹰扬府司刘政会厅，说：“有密状，知人反。”李渊故意让王威先看，但是刘政会不给，并说：“所告乃副留守事，唯唐公得视之！”李渊接过密状一看，是控告王、暗引突厥侵。王、正待辩解，刘文静与长孙顺德、刘弘基等将王威、君雅逮捕狱。事也凑巧，第二天果然有突厥数万人攻晋，民众以为是王、所致，于是李渊趁机杀掉君雅、王威。这标志着李渊父正式开始晋起兵。

晋起兵后，李渊父的目标就是乘虚关，直取长安，以号令天下，建立新的王朝。在长安（今陕西西安）的统治者听说李渊带兵攻，忙派大将宋老生和屈突通分别领兵数万，在霍邑与河东抵抗李渊大军。

大业十三年（公元617年）七月，李渊率军攻宋老生驻守的霍邑，却逢秋雨连绵，无法开战，而且路泥泞，军粮运输困难。相持数日，看军粮将尽，李渊准备退兵，李世民劝阻：“今兵以义动，战则克，退还则散；众散于前，敌乘于后，死之无日。”听了李世民的意见，李渊决定不撤兵。

八月，连日的天终于放晴，李渊遂下令攻城，并由李世民率兵诱敌城，双方展开决战。李世民先士卒，奋勇冲锋，“砍杀数十人，两皆缺，血满袖”。霍邑一战，李渊大获全胜，斩杀了隋将宋老生，攻下了霍邑。随后，李渊率兵攻河东郡，虽取得了初战的胜利，但是隋将屈突通固守河东郡，李渊久攻不下。后据李世民的建议，李渊留下分兵力包围和牵制屈突通，自己率主力队渡过黄河，直取长安。

同时，李渊在关中地区的家属和亲族也纷纷起兵响应，其中有李世民的胞妹平公主、李渊的从弟李神通，李渊的女婿段纶也在蓝田县聚众万余人。

在这有利形势下，李渊父一路上采取收揽人心的办法，废除了隋朝的严刑酷法，还开仓济贫。一面收编关中各地的起义军，一面争取关中地主阶级的支持。数月中，李渊、李世民的军队已达20万人，并于十月开始围攻长安。

十一月，长安城破，李渊率军长安，立年仅13岁的代王杨侑为帝，是为隋恭帝，并改元义宁，遥尊江都的隋炀帝为太上皇。李渊总揽军政大权，晋封为唐王。李建成成为唐王世，李世民为京兆尹、秦公，李元吉为齐公。