Il territorio era un avamposto difensivo dello Stato di Camerino, parte di un sistema di castelli che includeva anche Monte San Polo, Percanestro e Dignano, destinato a contrastare le roccaforti ghibelline umbre. Passato stabilmente sotto il controllo di Camerino nel XIII secolo, fu poi dominato dai Da Varano.
Del castello restano oggi i ruderi: una torre e tratti di mura in calcare bianco-rosato, immersi in un suggestivo bosco di faggi, cerri e lecci, da cui probabilmente deriva il toponimo “Elce”. Accanto alla torre sorge la chiesa dei Santi Pietro, Paolo, risalente al XI–XII secolo.