Il castello angioino di Gallipoli, completamente circondato dal mare, fu edificato tra il XIII e il XIV secolo, ma fino al XVII ha subito modifiche e ristrutturazioni.
L’originaria fortezza presentava un impianto quadrangolare, intorno al quale gli aragonesi, ascesi al potere, edificarono un recinto a pianta poligonale fortificato, con agli angoli torri cilindriche.
Al periodo viceregnale spagnolo risale la edificazione del bastione poligonale a sud-est, denominato torrione di vedetta, mentre alla seconda metà del XIX secolo, risalgono i lavori di riempimento del fossato rivolto verso la cortina in direzione della città, e il sotterramento degli archi che sorreggevano il ponte levatoio.
Dal 1879 il castello è divenuto demanio dello Stato, ed accoglie la sede del Comando della Guardia di Finanza, ad eccezione del Rivellino che durante il periodo estivo riveste le forme di un’arena per accogliere le proiezioni cinematografiche.
La fortezza accoglie internamente delle sale coperte da volte a botte e a crociera, caratterizzate da cunicoli e camminamenti.