Il castello Alfonsino o Aragonese situato sull’isola di Sant’Andrea a Brindisi, fu edificata nel 1481, ad opera di Alfonso d'Aragona, duca di Calabria, e successivamente ampliata con la realizzazione davanti al torrione preesistente, di una cinta muraria dotata di bastioni, seguita dalla edificazione di una terza torre a forma poligonale.
Al termine dei lavori, la fortezza presentava un impianto a forma triangolare, tra le cui mura inglobava anche l'abbazia di Sant’Andrea.
Nel 1528, i Veneziani attaccarono il Castello, che si difese benissimo, costringendo le navi nemiche ad allontanarsi.
Nel 1558, Filippo II d'Austria commissionò i lavori di costruzione del Forte a Mare, di mole smisurata, congiunto alle mura orientali dell'antico castello, e divisi solamente da un profondo fossato, comunicante mediante un ponte levatoio in legno del 1577.
Dopo il duro attacco del 1799, da parte del vascello francese "Il Generoso", il Forte a Mare perse la sua funzione difensiva, divenendo un lazzaretto, mentre il castello Alfonsino fu adibito a sede di un faro.
Dal 1984, il complesso dell'isola è di proprietà del Demanio dello Stato.