隋朝末年，天下大乱，盗贼四起，尉迟敬德投身军旅，官至朝散大夫。后来，流寇还是流寇，官兵也成了反贼，大业十三年(617年)，
马邑鹰扬府校尉刘武周杀太守王仁恭，攻占雁门（今代县）、楼烦（今静乐）、定襄（今内蒙古和林格尔西北）等地，依附突厥，受封为定扬可汗，尉迟敬德投奔到刘武周旗下，封为偏将。
唐高祖武德二年，刘武周派妹夫宋金刚带兵两万南下，攻陷山西北部
一带，兵锋直指晋阳（今太原西南），并州总管李元吉出战不利，
逃往长安（今西安），晋阳沦陷，关中震动，唐高祖打算放弃河东地区，固守关中，李世民上表请战，认为只有彻底消灭刘武周的割据势力，收复河东领土，大唐才能稳保关中。
武德二年十一月，李世民率部渡过黄河，在柏壁(今山西新绛县西南)集结，与宋金刚部对峙。
李世民采用“坚营蓄锐，以挫其锋”的策略，耐心等待宋金刚粮草耗尽，又派人截断宋金刚的粮道，使宋金刚部军心动摇。在此之前，河东的夏县与蒲州杀官响应刘武周，大唐朝廷派永安王李孝基前往征剿，
宋金刚派尉迟敬德增援夏县守军，里应外合，将永安王李孝基及手下将领尽数抓获，尉迟敬德还军浍州(治翼城，今属山西)，殷开山、秦叔宝在美良川(今山西闻喜南)伏击敌人，打得尉迟敬德措手不及，尉迟敬德奋力冲杀。突围而去，唐军斩首2000余级。一举扭转了整个战局。
接着，蒲州在唐军的围剿下也向宋金刚求救。尉迟敬德、寻相又被宋金刚派去增援蒲州。
李世民如法炮制，派遣精锐士卒三千人，从小路穿插，在安邑（今山西运城东北）设下埋伏，杀得尉迟敬德全军覆没，尉迟敬德、寻相孤身逃走。
唐军一面收复失地，一面继续与宋金刚对峙，到了公元620年四月，宋金刚军粮草耗尽。撤兵回军，李世民开始后发制人，全力追击。
唐军一昼夜行军两百里，双方交战数十次，李世民三天没解甲，两天没吃饭，终于在雀鼠谷（介休西南）追上了宋金刚的主力部队，一天之内连打八仗，俘斩数万人。宋金刚、尉迟敬德逃往介休（今属山西），
唐军如影随