Delle origini del castello di Castellammare del Golfo ce ne parla nel 1150 d.C. il geografo viaggiatore berbero, Idrisi, giunto a Palermo per volere del re Ruggero II di Sicilia, al quale dedicò una raccolta di carte geografiche note con il titolo Il libro di Ruggero.
Agli occhi dell’autore la fortezza risultava inespugnabile e possente nella sua struttura, delimitata da un fossato e accessibile mediante un ponte levatoio di legno.
Dopo il possesso da parte dei Normanni e dei Svevi, ai quali si devono numerosi interventi ampliativi, il castello passò nelle mani di Pietro II d'Aragona al quale successe Raimondo di Peralta, il cui successore fu Pietro Spadafora Ruffo.
A questi succede il genero Sigismondo di Luna, che nel 1649 lo vendette a Francesca Balsamo Aragona principessa di Roccafìorita.
L'edificio oggi di proprietà pubblica, presenta un corpo di fabbrica con base scarpata, risalente al 1578, e un torrione circolare collocato sul lato settentrionale della struttura.
La fortezza, è impreziosita esternamente da grandi balconi con mensole, frutto di successivi rifacimenti.