Un testamento del 1197 fa cenno a una donazione a quelli del Venda e documenta la presenza di un insediamento religioso presso la cima del Colle più alto. Il primo monaco che si ritirò in questo luogo fu Adamo di Torreglia che visse fino al 1160 all'interno di una grotta situata sulla cima. Nel 1209 Stefano, ex priore di Santa Giustina, e frate Alberico edificarono due piccole chiese dedicate a S. Michele Arcangelo e a S. Giovanni Battista e dal 1229 il piccolo eremo diventò un vero e proprio monastero sotto la Regola di San Benedetto. I lasciti dei nobili Maltraversi di Castelnuovo e, in seguito, della famiglia dei Carraresi crebbero la sua importanza e al posto delle prime due chiese se ne edificò una più imponente dedicata a S. Giovanni Battista. Nel 1380 fu affidato alla congregazione degli Olivetani, ordine aristocratico e abili pittori ed intagliatori di legno.