民起义军，他一个人就开弓射杀七十多人，还把尸体堆成“京观” ，供人参观，以炫耀功劳，随后又打败降州（今山西闻喜东北）柴保昌义军，受降数万人。炀帝果然下旨嘉奖，提升他为右骁卫军、太原道安抚大使、太原留守。
其时，隋朝已处于风雨飘摇之际，各地军阀自立旗号，纷纷起兵叛隋，农民起义军更如燎原之火，处处燃烧。武士彟看到隋朝气数已尽，便找到任太原留守的李渊，劝他起兵，并送给他自己写的《兵书典要》，为之谋画。李渊收下了他的兵书，但却向武士彟说：“幸勿多言，兵书禁物，尚能将来，深识雅意，当同富贵可。” [《旧唐书》，卷58，《武士彟传》。]意思是说，兵书是禁品，说这话要谨慎，如果有我做皇帝的那一天，当同享富贵。事后用他做个“行军司铠”（管理军装的小军职）。
其实，李渊久有起兵反隋之心。早在大业九年，李渊为征辽军督运军粮，路过河北涿州时就曾与宇文士及“夜中密论起兵时事”。同年，杨玄感反隋，李渊向炀帝告密，好友窦抚说：“杨玄感算个啥啊，他不过为你开个头罢了你的名字早已写在图箓上了（即天子图箓，迷信的天命说），这是上天安排的啊”李渊假装严肃地回答：“可不能随便乱说，祸事大啦”[《旧唐书》，卷61，《窦抚传》。]在河津一带镇压毋端儿起义军时，副帅夏侯端劝他起兵，李渊点头同意，告诉他等待更好的时机。
但是，随军作战的李世民却沉不住气了，他见父亲终日饮酒、聊天，若无其事。便找人疏通晋阳宫副监裴寂，让裴寂劝说李渊起兵。裴寂得了李世民数百万钱，便邀李渊到**喝酒，趁机说：“二郎（指李世民）已决定起兵了，如今天下大乱，如果守小节，城外的义军都能把你杀死；如果举义兵，一事实上可以成功，形势摆在这里，就看您的态度了”[《旧唐书》，卷57，《裴寂传》。]李渊仍然假装不知情，回答说：“啊呀，老2真有这种想法吗？事情既然已经这样了，只能顺从他的意思了”
老谋深算的李渊认为此时起兵仍有困难，晋中的粮秣充足，他早已让武士彟等富商大贾积存下了。但是，兵源却只有数千人，而太原副留守王威和高君雅是炀帝的亲信，是派来监视李渊的，他们也有权控制军队，要招兵也必须通过他们。