L’antropizzazione del territorio risale a epoche remote: sono infatti documentate presenze umane sin dall’età della pietra e nelle successive ere geologiche. Inizialmente si trattava di insediamenti stagionali di cacciatori, ai quali seguirono insediamenti stabili di agricoltori e cacciatori, una volta che la palude si era ritirata.
Viva è anche la presenza romana, la cui massima urbanizzazione si ebbe nei Piani di Plestia.
Il castello, situato in una terra di confine tra Umbria e Marche, faceva parte del Comune guelfo di Camerino ed era soggetto al Ducato di Spoleto, in contrapposizione al vicino Comune ghibellino di Foligno, che sull’altro versante della valle del Vigi aveva eretto la rocca di Acquafranca, oggi nota come Roccafranca. Il toponimo “Elce” deriva probabilmente dalla presenza di numerose piante di leccio, che un tempo dovevano abbondare nella zona.
Il territorio è ancora attraversato da antiche vie di comunicazione: una conduce verso Visso e la Valnerina umbra, mentre l’altra, partendo da Cesi nei Piani Plestini, raggiunge Spoleto attraverso la via della Spina. Entrambe furono percorse da pastori transumanti e pellegrini diretti a Loreto. Proprio lungo la via della Spina, si tramanda sia passato Annibale, che in questa zona sconfisse la cavalleria del console romano Centenio.

Nel primo Medioevo l’area era sotto il dominio della potente famiglia dei Baschi, originaria di Orvieto. Tuttavia, tra il 1264 e il 1265, il Comune guelfo di Camerino, per fronteggiare l’espansionismo di Foligno, offrì protezione alle comunità montane di confine. Di conseguenza, gli abitanti della comunità di Rocchetta — comprendente i villaggi di Cesi, Costa, Corgneto, Acquapagana, San Martino e Civitella — e quelli della comunità di Percanestro — comprendente i villaggi di Colle Lepre, Col Pasquale, Voltellina, Collecurti, Santa Croce, Attiloni, Forcella ed Elce — si staccarono dal dominio dei Baschi e fecero atto di dedizione al Comune di Camerino.

Segno tangibile di questa soggezione fu l’impegno a pagare ogni anno 26 soldi per famiglia. Inoltre, gli abitanti della Rocchetta avrebbero dovuto offrire un palio di seta in occasione della festa di San Venanzo o dell’Assunta, mentre quelli di Percanestro ed Elce una libbra di cera. In tal modo, queste terre furono incluse nel distretto comunale di Camerino.
Le comunità si reggevano con propri statuti, applicati da un podestà camerinese, che aveva anche la funzione di amministrare la giustizia in prima istanza.
Nel Quattrocento, l’autorità del Comune lasciò il passo alla signoria dei Da Varano di Camerino, cui fu affidata la giurisdizione sulla comunità costituita dai castelli di Acquapagana, Attiloni, Forcella, Borgo, Castello d’Elce, Cesi, Civitella, Collelepri, Corgneto, Costa, Dignano, San Martino, Taverne, Voltellina e Collecurti.
Con l’Unità d’Italia, queste località furono inglobate nel Comune di Serravalle di Chienti.
Nel 1927, quindici frazioni del Comune di Serravalle, tra cui Elce, chiesero di essere aggregate al Comune di Foligno. La richiesta fu approvata dal consiglio comunale di Foligno, ma non ebbe seguito.