随着势力的膨胀，韦银豹雄心勃勃，策划了一系列大振声威的军事行动，其巅峰之作便是三打桂林城……后两次更是攻入城中，洗劫藩库，杀广西布政使以下官员十几名，灭靖江王府三千余口，靖江王躲在密道中，才逃过一劫。 攻入省城桂林，使韦银豹的声望达到了顶点，也是他愈发轻视起大明来，竟然于嘉靖四十五年继续北上，杀入湖南省境，终于引起了朝廷的严重关注。于是，时任兵部尚书杨博，命俞大猷为广西总兵官，李延为广西巡抚，调集重兵平叛。俞大猷这位沙场宿将，虽然在某些人的打压下，一直郁郁不得志，但他从未丧失军事敏感，随时都做好了战争准备，一接到命令，便从广东入境，直捣韦银豹的老巢古田。 与戚家军齐名的俞家军，不是寻常官军可比，一路上势如破竹，顺利收复桂林城，兵锋直逼韦银豹的老巢古田。韦银豹大为震动，从湖南撤军回援，与俞大猷多次交战，均处于下风，只能利用地利与对方周旋。俞大猷也不着急，稳扎稳打，攻心为上，已经将韦银豹的势力压缩在桂林以南，但因为地形复杂，兵力不足，且与巡抚李延理念不同，很难再进一步。 在北进受阻的情况下，韦银豹向南发展，杀害田州土司岑大猛，吞并了广西南部大片土地，收降了两万狼兵，实力大增。官军这边，巡抚李延与总兵俞大猷的分歧越来越大，到了必须留一个、去一个的地步。而李延是高拱的门生，俞大猷却没有靠山，于是和高拱穿一条裤子的杨博，将俞大猷调回广东，另派总兵官听从李延的调遣。 李延大权在握，终于可以按照自己的法子剿匪了，可是五万官军剿了三年，花了朝廷几百万两银子，自己损兵折将，却没伤着韦银豹一根毫毛。