Il castello di Palmariggi fu edificato nel Cinquecento su commissione di Alfonso d'Aragona, in seguito alle scorribande saracene del 1480.
Tra il 1946 e il 1956 furono eseguiti i lavori di trasformazione, in occasione dei quali si procedette al riempimento del fossato, e alla distruzione del ponte levatoio.
Dell’originario castello si conserva sul lato nord, un tratto della cortina muraria e due torrioni.
Attualmente le sale interne ospitano la sede del Municipio.