L'edificio era in origine la residenza dei Castaldo, amministratori della famiglia Cantelmo. Nel 1770 venne integralmente ristrutturato dal nuovo proprietario, Filippo De Stephanis, come testimonia l'iscrizione posta sulla finestra centrale.