La Fortezza Pia situata sul Colle dell'Annunziata venne eretta nel 1560 da papa Pio IV sulle fondamenta di un vecchio cassero di epoca romana; a questo periodo risalgono gli angolati baluardi scarpati del versante meridionale.
Dopo essere stata demolita per volere di Federico II, la fortezza venne ricostruita nel 1349 su commissione di Galeotto Malatesta, signore di Ascoli, al quale si devono i due bastioni scarpati posti a guardia dell’ingresso principale, le lunghe cortine dotate di feritoie per il tiro delle armi da fuoco.
Nel 1799 la struttura venne smantellata dai francesi, e adibita a cava di pietre.
Della struttura si conservano le muraglie verso Nord ed i bastioni del lato Est, tra i quali si trova un portale a bugne.