李密又亲自率领三万兵卒进逼洛阳，隋朝的将军段达、虎贲郎将高毗、刘长林等人指挥七万人马抵御，在洛阳老城作战，隋军败逃。李密回头夺取回洛仓据守，大修营垒战壕，威逼洛阳，还让祖君彦撰写檄文到各个郡县公布隋炀帝的士大罪状，斥责其“罄南山之竹，书罪未穷；决东海之波，流恶难尽”。

不久，郑德韬、杨德方都死了，又任命郑颋为左司马，郑虔象为右司马。

柴孝和劝说李密道：“关中以高山为屏障，以黄河为天堑，项羽离开这里就灭亡了，刘邦在这里建都就成功了。照我的想法，让裴仁基镇守回洛仓，翟让镇守洛口仓，您亲自挑选一支精锐队伍，向西突袭长安，百姓谁不到郊外来迎接，定会不用打仗就到手了。攻克西京之后，等根基牢固兵马强壮，才回头径直攻打东西崤山和函谷关，攻克东都洛阳，传递文书发令调遣，天下可以平定。只是如今英雄豪杰争先恐后地起兵，实在担心别人抢在我们前头，一旦错失机会，后悔哪里来得及！”

李密说：“您这个方略，我也想过很久了，实在是个上策。但是杨广还在，追随他的军队还很多，我的队伍，都是山东人，既然知道还没有攻克洛阳，哪里愿意跟着我向西进关？各位部将都出身于绿林好汉，把他们留下会各自称王称霸。如果这样，就全完了！”

李密倚仗部队气势勇猛，往往进入皇家园林跟隋军连续交战。在李密被乱箭射伤，躺在营帐里的时候，洛阳城里的隋军乘机偷袭，李密的兵众四下逃散，放弃了回洛仓，集中到了洛口仓。

隋炀帝派遣王世充率领五万名精兵强将进攻，李密迎战失利，柴孝和掉进洛水淹死，李密哭得极度悲痛。王世充在洛口仓西边扎营，跟李密对峙了一百多天，大小战斗打了六十多次。

武阳郡丞元宝藏、黎阳义军寇首领李文相、洹水义军首领张升、清河义军首领赵君德、平原义军首领郝孝德，一同归附了李密，联合袭击，攻克了黎阳仓，占领了它。

永安首屈一指的豪富家族周法明献出长江黄河之间的大片封地投靠李密。齐郡的义军首领徐圆朗、任城县的大侠客徐师仁、淮阳郡太守赵佗都归附了他。

在此期间，翟让的部将王儒信鼓动翟让担任大冢宰官职，统领百官，夺取李密的大权。

翟让的哥哥翟宽又对翟让说：“皇帝只能由我们自己做，怎能送给别人！你如果做不了，就该我来做。”

李密知道了这件事，暗中有除掉翟让的打算。恰逢王世充摆着阵势打来了，翟让出兵抵御，遭到王世充猛攻。翟让稍有不利，李密和单雄信等人率领精兵强将救援，王世充败逃。

第二天，翟让自己来到李密的营帐，要求饮酒作乐，李密安排菜肴招待他，他所带领的部下一一安排在各处就餐。

李密请翟让入席后，拿出一把好弓给翟让鉴赏，翟让刚刚拉满，李密派一名勇士从背后将他斩首，同时杀掉了他的哥哥翟宽以及部将王儒信。

徐世勣被混乱的士卒砍了一刀，受了重伤，李密立即制止了，才免于死亡，单雄信等人跪地叩头请求饶恕，李密都免于处分并安慰他们。于是亲自到翟让的各个兵营，向他的将士们通报了情况，没有人敢闹事。就命令徐世勣、单雄信、王伯当分统其众。

李密经过这事取得了瓦岗军的绝对领导权，然瓦岗军的军事实力也因此受到重创。

不久，王世充袭击仓城，李密又打败了他。王世充又把军营迁移到了洛口仓的北边，在洛水上架设浮桥，派出全部人马进攻李密，李密和一千多人抵抗，形势不利向后撤退。

王世充乘胜逼近洛口城下，李密挑选几百名精兵阻截，王世充的兵众全线溃逃，抢着拥上浮桥，淹死了几万人。他的虎贲郎将杨威、王辩、霍举、刘长恭、梁德、董智都已阵亡，王世充只是保住了性命。当天夜晚，天降大雪，他的士卒几乎冻死光了。

李密乘胜攻克了偃师县，在这里修筑起金墉城驻扎下来，拥有三十多万人马。东都留守韦津又和李密在上春门作战，韦津大败，当场被捉。

隋廷掌管土木营建的官员将作大匠宇文恺叛离东都，投降了李密。东到海滨、泰山，南到长江、淮河，没有哪个郡县不派使者归附李密。窦建德、朱粲、杨士林、孟海公、徐圆朗、卢祖尚、周法明等人都顺势地派人向李密上书劝说他登皇帝位，

于是，李密手下的官吏们全都劝说他立即称帝，李密说：“洛阳没有平定之前，不能谈这件事。”