Il castello di Carlo V venne edificato dall’omonimo imperatore tra il 1507 e il 1707, e su progetto dell'architetto Gian Giacomo dell'Acaya e dell’ingegnere Ambrogio Attendolo.
La fortezza difesa da una cinta muraria dotata di bastioni venne realizzata in una posizione strategica, al fine di controllare i due accessi principali alla città, vale a dire Porta Romana ad occidente, e Porta Napoli ad oriente.
Il forte di impianto quadrato presenta su ogni angolo un bastione di forma pentagonale con pareti inclinate e coppie di fori cilindrici sovrastati da guardiole semicilindriche.
Alla struttura si accede per mezzo di un ponte sorretto da archi e pilastri; l’ingresso accoglieva sul lato sinistro una cappella risalente al 1856.
Durante la dominazione spagnola e la successiva dominazione borbonica, il castello svolse la funzione di ospitare soldati ed armi , mentre dal 1848 al 1852 venne adibito a prigione per condannati politici.
Al 1865 risalgono i lavori di rinnovamento della struttura, al fine di adeguarla a Laboratorio Pirotecnico, dove venivano svolte le attività inerenti il confezionamento delle cartucce da fucile e dei cartocci per l'artiglieria.
Durante la Seconda Guerra Mondiale, il forte venne danneggiato dai bombardamenti, come dimostrano alcune lacune che nonostante tutto non intaccano il complesso nell’insieme.