能势赖丰率领的千人，皆是家中从海岛上拉起的精锐，各个身经百战，身手非同小可。他伺机半日，觑见机宜，在城北双方酣战至最高峰时，迂回横冲上野军。

侧翼横冲，本就是合战中最有效的破敌手段之一。上野军苦战多日，军势疲累不堪，阵列趋于涣散，且毫不知情敌军伏兵何在，没能提前做好防备。

能势赖丰能征善战，先行帮助自己儿子能势赖吉解围，将断后的赞岐兵击溃，长尾大隅当场讨死，而后两边合兵一处，自北往南，与围攻的儿玉党摧枯拉朽一般击溃了上野军。

上野高秀无奈，只能领兵拼死往下津井城门口拼杀，细川赖纲打开城门想要接应，一直带兵等候许久的能势赖房，趁机暴起发难，夺占城门，接引后方杀来的儿玉党入城。

城门失陷，纵然一开始城内守军拼死抵抗，但等儿玉党大军抄掠而至，竖起长梯对城墙一并发起围攻的时候，城内的守军立时溃如山崩。

上野高秀等人往御馆方向逃窜，还想负隅顽抗，结果迎面撞上一队儿玉党兵卒，稍稍抵抗一阵，左右部众就再次溃逃殆尽，为敌所执。

正应后人为《平家物语》所题诗赞传闻一战平氏愁，两军强兵过未休。谁道藤户总无事，近来长共血争流。

是役，上野军当场战死三百余人，溃逃中又被搜杀数百，反倒是下津井城内原本的守军，见大势已去后全都识相的弃兵投降，没有太多死伤。

宇喜多直家大胜过后倒也不急着入城，当下派人传令给花房正幸传令，命他火速进兵，收取常山城为首的各地。