李世民和李建成等人，连夜去把左三军追了回来。正好，这时太原运来的军粮也到了。统帅部不再动摇，下了决心，又有了粮食，军心才算安定下来。

不光是军心安定了，阴沉的老天也换了面容。八月初一，雨住天睛。初三早上，李渊率军顺着山脚下的小道，往东南向霍邑进军。

在行军的路上，李渊对将领们说:“宋老生如果出城迎战，我们不难收拾他。要是他据城死守,对我们就不利了。霍邑城高坚固，硬攻可不容易啊!”李世民和建成说: “宋老生性情急躁，我们只派少数骑兵前去挑战，他可能会出来。如果他采取死守战略，也有办法。

那我们就散布说，他暗中和我们通好，所以不出城打我们。这个说法一传开，他害怕身边的人向皇上报告，还敢不出城作战吗!”李渊接着说:“你们的估计不错，我们困在贾胡堡时，宋老生不前来进攻，我就知道这个家伙没有什么本事。”

李渊率领几百名骑兵走到霍邑城东几里的地方，停了下来，等待步兵。世民和建成带领几十名骑兵，前进到霍邑城下，举着马鞭，东指指，西看看，好象是察看地形，商量如何布置军队围城。他们还大声对城上的守军说道:“这样一个小城，不在话下，我们大军一到叫你们一个不留。回去告诉宋老生，他是好样的战将就出来拼个你死我活。要是胆小怕死就死守在城里，等我们去活捉他吧。”

宋老生看到李世民和李建成领着几十个人，就敢跑到自己的眼皮底下，而且指手划脚，口出恶言， 觉得他们太不把自己放在眼里了。一怒之下，他率领大军，分别从东门、南门出城，列成阵势,迎战李渊。李渊派人催促后军，火速前来，和宋老生决战。

后军到了以后，李渊打算吃过饭再发动进攻。李世民说:“宋老生已经出城，失去了屏障。他估计我们要先吃饭，因而不作准备。机不可失，应该立即开战”

李渊接受了李世民的意见。他和建成在城东列阵，世民在城南列阵，同时向隋军发动进攻。这是李渊起兵以来的头一个大硬仗。义士们在贾胡堡窝蹩了半个月，天天盼望天晴打霍邑，因此在战斗中人人冲锋，个个争先。