Il complesso, in origine noto come "rocchetta di San Giorgio" e solo dalla fine dell'XIX secolo detto "di Sparafucile", è quanto resta delle fortificazioni del borgo di San Giorgio che un tempo sorgeva all'estremità orientale dell'omonimo ponte.
L'esistenza dell'antico borgo è documentata già a partire dal 1116, ma fu nella seconda metà del XIV secolo che Ludovico I Gonzaga, nell'ambito degli interventi tesi al rafforzamento e potenziamento delle difese del suo stato, fece cingere di mura l'abitato dotandolo probabilmente di una rocca con funzione di avvistamento.