Sull'origine del Castello Caetani non esistono fonti storiche che ne consentano una datazione precisa; probabilmente fu fondato intorno all'anno Mille, con il decollo del fenomeno dell'incastellamento.
Il castello, che si erge imponente su un masso di roccia compatta, comprende un'area di circa mq. 800, con mura alte dai 12 ai 16 metri, spessi alla base almeno un metro, composti di pietra calcarea e di cardellina squadrata.