Il sito fu di grande rilevanza strategica già in epoca comunale: Serravalle divenne infatti una roccaforte fondamentale per Camerino, trovandosi all’incrocio delle zone d’influenza dei comuni di Nocera, Spoleto e, soprattutto, Foligno.
La fortezza, costruita per sbarrare la via di accesso e dotata di due porte fortificate, serviva anche da dogana: qui veniva imposto un pedaggio su merci e viandanti. Numerosi sono gli episodi storici che vedono protagonista la rocca camerte nel passaggio delle truppe tra XIV e XV secolo.
Il castello di Serravalle, di forma quadrilatera irregolare, era dominato da cinque torri, tre delle quali allineate sul lato orientale della strada che da Castello conduceva all’altopiano. Una di queste torri è giunta fino a noi, restaurata in epoca recente.

Agli inizi del Cinquecento il borgo era un’importante stazione di sosta lungo la Via Lauretana, come dimostrano le numerose edicole votive dedicate alla Madonna di Loreto che costellano il percorso. Al centro del paese sorgeva l’Ospedaletto dei Pellegrini, del quale si conservano la facciata due-trecentesca con porta ad arco acuto, la caratteristica “porta del morto” laterale e le tracce di un affresco raffigurante la Madonna col Bambino. Insieme agli edifici annessi, costituiva un complesso destinato al ricovero dei pellegrini, i cui beni, nella seconda metà del XVI secolo, furono inglobati nel patrimonio dell’ospedale di Camerino.