Il castello svevo situato a ridosso del centro storico di Brindisi, e con una parte strutturale rivolta verso il porto cittadino, fu edificato tra il 1227 e il 1233 per volere dell'Imperatore Federico II, con lo scopo di collocarvi la sua residenza fortificata, gli uffici, la caserma, la prigione e l’arsenale.
Il nucleo originario di forma trapezoidale, presentava quattro torri angolari, ed era difeso da un lato dal mare e dagli altri tre lati da un fossato.
Nel 1488, la fortezza fu ampliata e fortificata su commissione di Ferdinando I re di Napoli, figlio di Alfonso V d'Aragona, al quale si deve la realizzazione di una nuova cinta muraria, la costruzione di quattro torri circolari agli angoli, e la copertura del fossato con una volta, ricavandovi al suo interno una serie di locali sotterranei.
Nel 1496 la città di Brindisi e il castello furono consegnati da Ferdinando II d'Aragona, alla Repubblica di Venezia.
Di lì a poco la città e in particolare il castello furono interessati da un duro assedio, da parte delle armate della Lega franco-veneto-papalina contro Carlo V, che aveva affidato il comando della fortezza a Giovanni de Glianes
Al termine della “battaglia”, Brindisi risultò povera e priva di abitazioni, ma vittoriosa di aver vinto; nel 1530, il generale d'Alarçon, su commissione di Carlo V, munì la città di nuove mura, potenziò i castelli, e fece edificare i torrioni di San Giacomo, San Giorgio e quello posto a lato della porta di Mesagne.
A partire dal 1814, il castello fu sottoposto a un radicale intervento di trasformazione, voluto da Gioacchino Murat, e adibito a prigione, fino a quando nei primi anni del 900, la Marina Militare decise di utilizzarlo come sede della sua base di Brindisi.