Il Castello dei Principi d'Acaja sorge nell'omonima piazza della cittadina.
Nell’edificazione della struttura avvenuta nel 1324 per volere di Filippo I di Savoia-Acaia, furono utilizzati 3.355.000 mattoni, 26.000 tegole e 19.861 carri di pietre, per non contare gli altrettanti uomini-operai.
Attualmente le sue sale ospitano l'Archivio Storico e la biblioteca civica.
Nel 1418, sia la città che il castello passarono sotto il dominio dei Savoia e fu trasformato dal duca Amedeo VIII in un castrum in palatium.
Essendo costruito con i canoni di una fortezza, il castello resistette anche all'assalto dei francesi.
Al Quattrocento risalgono l'aula magna, l'alloggio del principe, la cappella, le cantine ed il cortile caratterizzato da un bellissimo porticato a colonne in marmo bianco.
Dal 1500 al 1503 il castello ospitò Bona di Savoia,vedova di Gian Galeazzo Maria Sforzaù.
Sessantadue anni dopo Emanuele Filiberto, alla presenza del vescovo di Lorena, firmò il Trattato di Fossano, che chiuse le ostilità con i francesi.
Alla fine del ‘500 per volere di Carlo Emanuele e la consorte Caterina d'Austria vennero edificate due torri ad archi.
Nella seconda metà del Seicento il castello fu trasformato in carcere e nel 1860 furono realizzate le torrette per consentire l'accesso alle celle.
Fino al 1943 la fortezza è stata utilizzata come caserma e dopo la Seconda guerra Mondiale come rifugio per i senzatetto.
Nel 1960 furono iniziati i lavori di restauro finalizzati a restituire al castello il suo originario aspetto cinquecentesca.