Castello di Ussel è stato edificato verso la metà del XIV secolo da Ebalo II di Challant.
Dopo essere passato più volte dagli Challant ai Savoia, il castello è stato dapprima adibito a prigione e poi in ultimo è stato abbandonato.
Nel 1983 il barone Marcel Bich, proprietario della fortezza, decise di donare la sua proprietà alla Regione.
La struttura a pianta rettangolare, presenta una muratura caratterizzata da archetti ciechi e bellissime bifore decorate con motivi floreali e geometrici.
In corrispondenza dell’angolo del lato sud vi sono due torrette cilindriche che inizialmente erano collegate tra loro per il tramite di un camminamento.
L’ingresso, posto sul lato, è sormontato da una caditoia. A nord, invece, figurano due torri quadrangolari, tra le quali si erge un mastio.
Il castello conserva al suo interno i bellissimi camini sovrastati da mensole.