A sud del capoluogo ed in cima ad una collina si trova il Borgo del Luogo, frazione di Brusasco, nota anche col nome di Borgo Garibaldi. Il nome "Luogo" deriva dal latino lucus, ossia "bosco sacro". Qui nel medioevo, a difesa degli abitanti, sorse il primo nucleo del castello, a fianco del quale fu realizzato anche un ricetto, del quale rimangono molte testimonianze.
Fra queste si segnala la Porta di San Sebastiano, che era una delle due porte che consentivano l'accesso al ricetto del Luogo. Sulla Porta di San Sebastiano sono ancora visibili l'antica struttura merlata, l'accesso pedonale e l'accesso carraio. Di struttura molto simile doveva essere la porta Cerrone, che sorgeva nella posizione dell'attuale campanile della chiesa di San Bernardo. Meritevoli di essere ricordate sono anche le due chiese del Borgo del Luogo: La chiesa di S. Bernardo e la chiesa dell'Annunziata. Quest'ultima sorge sul poggio omonimo e nel 1600 fungeva da parrocchiale. Anche la chiesa dell'Annunziata sorge nei pressi di un cimitero, quello ancora oggi utilizzato dagli abitanti del Borgo del Luogo.