La località di Scardavilla è ricordata per la prima volta nel 1225, come dipendenza del convento di S. Maria di Vincareto nei pressi di Bertinoro. Il piccolo monastero di S. Maria di Scardavilla, i cui resti parzialmente trasformati sono visibili a Scardavilla di sotto, è meglio descritto in un documento del 1241, dal quale si ricava che i monaci, oltre che alla preghiera e alla contemplazione, si dedicavano alla coltivazione dei campi e all'allevamento del bestiame (soprattutto pecore e maiali); lo stesso toponimo della localitá, del resto, deriva da cardus e villus e richiama la cardatura del vello delle pecore. Dopo essere stato soggetto a varie congregazioni, nei primi anni del secolo XVI il monastero passò alle dipendenze dei monaci camaldolesi, che fin dalla nascita dell'ordine avevano modellato la loro regola sul governo delle celebri foreste del Casentino.