Fu dimora principale della famiglia feudale che per secoli governò il paese, i Cantelmo. Il palazzo, che doveva essere tra i più monumentali e ricchi del paese, ha subito varie modifiche nel corso dei secoli, dovute soprattutto alle diverse funzioni (attualmente ospita il municipio) ma conserva ancora parte del suo fascino; è formato da tre corpi rettangolari uniti ad "U", con il lato aperto verso la vallata del Gizio.