Rimangono imponenti rovine e una delle cinque torri. Nel 1240 il papa Innocenzo IV lo diede in donazione al Comune di Camerino. Nel 1438 gli Sforza dominarono su tutta la regione e il castello subì vari tentativi di conquista.