为了不让敌军破坏所修的堤堰，韦睿派人在岸边筑城堡守卫。没料到魏军攻陷了城堡，直杀到了韦睿堤下。面对这突发情况，有军官劝韦睿赶快退回巢湖，以保安全，又有一些将领建议韦睿撤退以保住三义。

看着大家要求撤退，没有战斗的决心，韦睿很生气。他喝道：“宁有此邪！将军死绥，有前无却。”接着，他命人把他的伞扇、旗帜等仪仗拿来，竖立在大堤之下，明确地表示，只能前进，决不后退。

北魏军为了守住合非，在合肥外围的东西两面各修筑了一个小城，用它们来拱卫。

韦睿的部队到达以后，他就指挥部队先攻这两个小城。与此同时，北魏的杨灵胤率领五万援军赶到，一时声威大震。

面对北魏大军，有些将领又开始胆怯了，他们劝韦睿，赶快请求朝廷增派援军。

韦睿没有同意，他说：“贼兵已到，我再去请求援兵，哪还来得及？你们想想：我们要求增援，人家就不会再增兵吗？军队制胜的关键就在于同心协力。”于是他大胆地指挥，迎击杨灵胤的部队，很快就取得了初步的胜利。

北魏兵卒为了防守，不断派人来凿堤，以破坏堤堰，韦睿针锋相对，亲自带人与他们争斗，他的行动带动了大家，使对方没有得逞。

合非城墙高大，这是守军的优势。为了攻克合肥，韦睿就建造几乎与合肥城墙一样高的主力战舰，以便攻城时用。他等到堤堰中的水位涨到一定的高度以后，就用主力战舰四面攻城。此时巨舰临城，守军的高墙优势丧失，援兵又派不用场。守将杜元伦登城督战，又中箭而死。北魏军真是无计可施，一些人聚在一起号啕痛哭，士气完全丧失。在韦睿的指挥下，合非城终于被攻破，俘获了一万多人，缴获了无数的战利品。

攻克合非以后，梁武帝萧衍下诏班师。韦睿撤军时担心北魏军尾随追击,便让辎重部队走在前面,而自己则坐着小车殿后。北魏人很畏惧他，看着他的部队却不敢靠近,终于胜利撤军。

合非一战使韦睿的名声大噪，北魏人很害怕他，韦睿也多了一个称号：“韦虎”。