La fortezza di Carlo V situata sull’isola di Capo Passero appartenente al territorio del comune di Portopalo fu edificata, come ci rivela il geologo Antonello Capodicasa, tra il 1606 e il 1611, sotto l’imperatore Filippo III, nipote di Carlo V, e su progetto dell’ingegnere Giovan Antonio Nobile, con lo scopo di difendere l’estrema punta meridionale della Sicilia dalle incursioni turche e barbaresche.
La fama della fortezza scemò a partire dai primi anni dell’Ottocento, quando il timore per le incursioni venne meno a seguito della conquista di Algeri da parte dei francesi.
L’impianto di forma quadrata sorge nell’area più alta dell' Isola di Capo Passero, ed è raggiungibile da un ingresso rivolto verso oriente, anticamente dotato di un robusto ponte levatoio.
Oltrepassato l’ingresso, si accede subito ad un ampio cortile con pozzo centrale, sul quale si affaccia una balconata decorata da un’epigrafe, dove si legge la seguente espressione “Melius Est India Urgere Qua Conmiseratione Deplorare 1701”, che tradotta significa: “meglio sbrigarsi che deplorare con commiserazione gli eventi ".
Seguono i resti di una cappella, al cui interno sono custoditi i resti della tomba, ormai profanata, di un capitano spagnolo, ivi sepolto nel 1631.
Una scala in pietra raggiunge i quattro spalti angolari, di cui uno è occupato dal Faro, mentre l’altro adiacente conserva un antico posto d'osservazione, dal quale nel lontano 11 agosto 1718, fu possibile osservare l’epilogo della battaglia navale che vide la flotta inglese comandata dall'ammiraglio Binghs distruggere le ventisei navi della flotta "Angiovina" guidate dal vice-ammiraglio Castagneto.