Il palazzo Farnese venne edificato a partire dal 1583 per volere della duchessa Margarita d’Austria, figlia di Carlo V d’Asburgo e moglie di Ottavio Farnese, e su progetto dell’architetto Giacomo della Porta.
Nonostante la regina avesse commissionato la costruzione dell’edificio per potervi risiedere, non venne abitato da lei perché morì prima che i lavori fossero portati a termine.
In ogni caso sotto ogni pietra angolare dell’edificio vennero poste, in memoria della Madama Margherita, tre medaglie di bronzo.
Dell’originaria struttura resta solo una parte, dato che tutta l’ala orientale è crollata nel 1782, mentre un’altra parte è stata demolita e rinnovata alla fine degli anni settanta.
Nei secoli XVII e XVIII il palazzo Farnese ospitò la sede del Sovrintendente ai Beni Farnesiani dell’Abruzzo e dell’Archivio Farnesiano, mentre nel 1795 venne acquistato dalla famiglia Berardi.
Oggi l’edificio accoglie la Biblioteca Comunale, la Pinacoteca Cascella e un deposito museale dove si trovano numerosi reperti storici e sculture realizzati dagli artisti Costanzo e Massari.