Carimate è nota per il suo castello teatro di numerosi scontri e battaglie.
Il castello odierno risale al 1345; fu costruito sui resti di un antico edificio del 1149, eretto in posizione strategica sulla strada che collegava Milano a Como e alla Svizzera. Il XIII secolo, infatti, fu caratterizzato da conflitti armati fra Como e Milano che si contendevano l'egemonia sull'industria tessile della pianura Padana; il fatto che il Castello di Carimate si trovasse quindi sulla via che collega i due comuni, lo poneva in una posizione ideale per difendere Milano. Non a caso, la struttura del 1149 fu distrutta proprio durante questi conflitti.
Nel 1345, il feudo dove un tempo si trovava il castello passa in mano alla famiglia Visconti e, immediatamente, Luchino I Visconti decide di ricostruire il Castello di Carimate. Dove la struttura precedente era una postazione difensiva, quella edificata dalla famiglia Visconti è una residenza dedicata a caccia e villeggiatura. Pur rimanendo parte di una rete difensiva a nord di Milano, quindi, la funzione cambia completamente come evidenziato dall'assenza di fortificazioni e di fossato che furono aggiunti solo in un secondo momento.
In castello rimane alla famiglia Visconti fino al 1795, quindi nel 1800 passa ai fratelli Arnaboldi di Como.
Il Castello è in tipico stile gotico formato da un blocco principale quadrato, separato dal quale si erge la torre in mattoni nell'angolo sud-ovest; invece un secondo blocco di strutture ed elementi è di gusto romantico in quanto oggetto di restauri e addizioni avvenuti nel 1800. L'aggiunta più importante fu senza dubbio il Torchio: il complesso di scuderie dirimpetto al Castello. Alla parte interna del castello si accede tramite ponte levatoio che si apre su uno spiazzo quadrato che ci dà l'idea di quanto quello di Carimate non fosse solo un castello, ma una vera e propria cittadella. Infatti, se chiedete a un abitante di Carimate dov'è il castello, lui vi darà le indicazioni per la Cittadella e inoltre vi darà le indicazioni per il Torchio. A differenza del resto del castello, il Torchio è rimasto in uso fino agli anni Sessanta poiché era qua che si trovava la sede dell'azienda agricola della proprietà del Castello, così come le stalle e i relativi locali. Le botteghe e le officine meccaniche necessarie per i fabbisogni dell'azienda si trovavano sotto ai portici e qua si poteva trovare ciò che poi diede il nome al complesso: un torchio per pigiare l'uva.
È palese vedere che oggi non è più così: alla fine degli anni Cinquanta, il Castello, i terreni di Carimate e l'azienda agricola furono venduti. Anche se inizialmente Il Torchio mantenne la sua funzione, l'incuria dei nuovi proprietari fece sì che lentamente la struttura andasse deteriorandosi fino a ridursi a poco più che macerie inutilizzabili, anch'esse messe nuovamente in vendita. Interessato all'acquisto fu Carlo Orlandini, che però non aveva autonomamente i soldi per permettersi il restauro, quindi giunse in suo aiuto la comunità di Carimate e il 1° maggio del 1982 venne ufficialmente inaugurato "Il Torchio", un brillante centro culturale e commerciale nel cui salone civico si svolgono Consigli comunali, mostre e concerti.
Oggigiorno il Castello è uno spazio per eventi, ma è anche stato un albergo con un tocco moderno e uno studio di registrazione di ultimo livello con attrezzature estremamente costose, senza aver mai visto snaturata la sua architettura.