Il Castello Pallotta fu edificato si di un colle intorno alla seconda metà del IX secolo, e nel luogo dove si ergeva una precedente fortificazione longobarda.
Nel 1500, la fortezza venne trasformata in una residenza estiva in stile tardo rinascimentale su commissione del Cardinale Evangelista Pallotta, ed ospitò personaggi di prestigio, come il pontefice Clemente VIII e la regina Cristina di Svezia.
A seguito dei danni causati dal terremoto del 1997, l’edificio è stato sottoposto a importanti lavori di restauro, che per nulla hanno intaccato l’originaria struttura, mantenendo al contrario l'antico maniero con le mura, la merlatura guelfa, i cammini di ronda ed il ponte levatoio.
Il castello accoglie al suo interno venti ambienti disposti tra il piano terra e il piano nobile, dove si conservano tuttora gli arredi del XVI e XVII secolo.
Da ammirare la sala delle armi dove si conserva una collezione di cimeli di famiglia come alabarde, spade, armature ed armi da fuoco.