Il castello di Caccuri fu edificato nel VI secolo, ad opera dei Bizantini, con lo scopo di controllare i loro possedimenti nella valle del Neto, ma nel tempo subì numerose trasformazioni che ne modificarono l'aspetto originario.
I primi feudatari furono Enrico e Matteo De Riso, i cui eredi cedettero il feudo ai Ruffo grazie ai quali il castello acquisì importanza anche oltre i confini del regno di Napoli.
Seguirono i Cimino, e nel 1651 i duchi Cavalcanti, ai quali si deve gran parte della struttura che noi tutti oggi possiamo ammirare; a questo periodo risale la realizzazione della cappella Gentilizia.
Gli ultimi feudatari furono i baroni Barracco, tra i quali ricordiamo Guglielmo al quale si deve la costruzione della torre sul rivellino del castello, ad opera dell'architetto Adolfo Mastrigli, simbolo dello stemma comunale di Caccuri.
Oggi le stanze interne del castello sono state adibite a struttura ricettiva, tra cui la stanza del Peccato, con la volta affrescata dalla storia di Adamo ed Eva che, mangiando del frutto dell'albero del bene e del male, furono scacciati da Dio dal giardino dell'Eden.