Sorta nel Medioevo come roccaforte, la struttura fu trasformata in castello dai marchesi di Saluzzo, per poi passare in proprietà dei Savoia nel 1605. Del medievale castello rimangono, all'estremità destra del cortile, una torre cilindrica con merli coperti da tetto e altre tracce in incorporate nel nucleo centrale dell'edificio.
Il castello medievale rimasè pressoché inalterato fino al 1676, quando il principe Emanuele Filiberto di Savoia-Carignano affidò a Guarino Guarini i lavori di ampliamento e trasformazione del castello medievale in villa signorile con ampi giardini. Del progetto guariniano fu realizzata la splendida facciata settentrionale verso il parco e l'imponente padiglione centrale (coperto nel 1719 da Francesco Gallo), al posto del preesistente il cortile interno.
Lungamente sospesi, i lavori furono ripresi soltanto nel 1755 da Ludovico di Savoia-Carignano, che li affidò a Giovan Battista Borra (allievo del Vittone). Il Borra concluse i lavori nel 1758, realizzando la facciata sud, quella principale e che dà sul centro abitato di Racconigi, con gusto già Neoclassico e vagamente palladiano, ma senza compromettere l'unità stilistica della struttura.