秦王府的官员杜如晦从他门口经过，他家的奴仆竟然不由分说，把人家毒打一顿。阿鼠还恶人先告状，指使尹德妃对李渊说:“秦王左右的人，无法无天，老欺负我们家，请皇上作主。”

李渊又把李世民叫来，责备他说:“你手下的人连我爱妃家都欺负，何况老百姓呢！真是太不象话了。”李世民再三解释，李渊就是不信。这样李渊对李世民的印象越来越坏，同他越来越疏远了。

李元吉是个凶暴狠毒的人，他自己没有势力，却也想当皇帝，那只有耍阴谋。他的如意算盘是，先拉着大哥建成除掉二哥，然后再收拾大哥。他极力劝建成除掉世民，说:“只要哥哥一句话，我亲手宰了他。”有一次李渊领着建成和世民到元吉的府上去，元吉埋伏了凶手，要借机刺杀世民。建成怕父亲怪罪，没让元吉那么做。

李世民在军队中的势力很大，李建成知道，要除掉他，自己也得有一支武装力量。他违反国法，擅自招募两千多人，作为太子东宫的卫士。又秘密从外地调来三百精锐骑兵，安置在东宫左右。还派心腹杨文干到外地去再招募一批军队。

六二四年六月， 李渊离开长安，到仁智宫(在今陕西宣君县)避暑，世民和元吉随行，建成在都城留守。李建成认为机会来了，他要元吉在避暑中把世民杀死，并通知杨文干到时候起来响应。可是，这事被李渊知道了。他十分恼怒地把建成叫到仁智宫因禁了起来，杨文干一看事情都败露了，就在庆州(今甘肃庆阳)造起反来。李湖对世民说。“杨文干造反，背后是建成。

恐怕会有不少人响应，不敢轻视，你要亲自前去平叛，回来之后，我立你为太子，改建成为蜀王。以后他能服从你，你保全他;不服从你，你收拾他也很容易。李世民走了以后，妃子们一个接一个在李渊面前为建成说情，宰相封德彝也积极为建成说话。而建成呢，一再痛苦流涕地磕头请罪，甚至自已跳起来使劲往地上摔，表示后悔得不想活了。

这一来李渊的心软了，他把建成训斥了一顿，把责任推到太子身边的人身上，把他们惩办了几个，然后就叫建成重回长安留守，对世民讲的那些话都不算数了。这样，兄弟两个的矛盾更尖锐了。