Cuando el ruido de la lucha llegó al campamento florentino situado más abajo, este se llenó de confusión. La caballería y la infantería se mezclaron inextricablemente: los capitanes no pudieron hacer que sus hombres avanzaran ni retrocedieran, debido a lo estrecho del desfiladero, y en medio de todo este tumulto nadie sabía qué debía hacerse ni qué se podía hacer.
En poco tiempo, la caballería que combatía contra la infantería enemiga fue dispersada o aniquilada sin haber presentado una defensa eficaz debido a su desafortunada posición, a pesar de que, por pura desesperación, habían ofrecido una resistencia tenaz. La retirada había sido imposible, con las montañas en ambos flancos, mientras que al frente estaban sus enemigos y a la espalda sus amigos.
Cuando Castruccio vio que sus hombres no conseguían dar un golpe decisivo al enemigo ni ponerlo en fuga, envió mil infantes alrededor del castillo, con la orden de unirse a los cuatrocientos jinetes que había enviado previamente allí, y ordenó a toda la fuerza que cayera sobre el flanco del enemigo. Estas ordenes las ejecutaron con tanta furia que los florentinos no pudieron sostener el ataque, sino que cedieron y pronto emprendieron la retirada total —vencidos más por su desafortunada posición que por el valor de su enemigo—. Los de la retaguardia se volvieron hacia Pistoya y se dispersaron por las llanuras, buscando cada hombre únicamente su propia salvación. La derrota fue completa y muy sanguinaria. Muchos capitanes fueron hechos prisioneros, entre los cuales se encontraban Bandini dei Rossi, Francesco Brunelleschi y Giovanni della Tosa, todos nobles florentinos, junto con muchos toscanos y napolitanos que luchaban del bando florentino, tras haber sido enviados por el rey Roberto para ayudar a los güelfos.