L'abitato di Ponti si affaccia sulla valle del fiume Mincio, qui appena uscito dal lago di Garda, e si estende ai piedi di una collina dominata dall'imponente castello di origine medioevale, quasi integralmente conservato. L'impianto, ad andamento irregolare e allungato, è quello del castello-recinto con pianta poligonale adattata all'orografia del terreno con cinque torri poste a intervallo lungo la cortina muraria. Di queste, tre sono scudate, ovvero semplici ripiegamenti verso l'esterno delle cortine, così da ottenere una pianta quadrilatera priva di muratura verso l'interno del recinto, in modo da poter essere controllate e, se necessario, battute dalle rimanenti due torri. Una è ubicata in corrispondenza dell'estremità settentrionale, altre due lungo i fianchi e rivolte rispettivamente a settentrione e a meridione.