Castel Sant'Elmo situato sulla collina del Vomero, a Napoli, venne edificato tra il 1329 e il 1343 sul luogo dove sorgeva una chiesa dedicata a Sant'Erasmo risalente al X secolo.
Realizzato su progetto degli architetti Francesco de Vico e Tino da Camaino, cui successe alla morte di quest'ultimo, Attanasio Primario e dopo di lui Balduccio de Bacza, la fortezza subì il suo primo assedio nel 1348 da parte di Ludovico di Ungheria, con l’intento di vendicare il fratello la cui uccisione era attribuita a Giovanna I d'Angiò.
Nel 1416 la struttura venne venduta dalla regina Giovanna II ad Alfonso d'Aragona.
Nel 1537 venne ricostruito su commissione di Don Pedro de Toledo, sollecitato dall'imperatore Carlo V, e ad opera dell’architetto Pietro Luigi Scrivà, al quale di devono i lavori di fortificazione dell’altura di San Martino.
Dal 1604 al 1659 il castello divenne una prigione, mentre oggi è adibito a Museo, nonché ospita la sede di fiere e manifestazioni.
Il castello a pianta stellare con sei punte privo di torrioni, presenta esternamente un fossato un tempo dotato di una cisterna per l'approvvigionamento d'acqua.
Una ripida rampa che attraversa un ponticello difeso da mura laterali nelle quali si aprono dodici feritoie per ciascun lato, ci consente di raggiungere l’interno della fortezza dove si pare un atrio denominato Grotta dell'Eremita.
Alla sinistra dell’atrio si apre un secondo ingresso con cancello a ghigliottina, seguito da una rampa finale di ingresso al castello, al termine della quale si apre un portale in tufo e piperno che conduce ai locali adibiti a carcere.
Sulla Piazza d'Armi si erge la Torre del Castellano, i cui ambienti erano riservati agli alloggi del comandante e del personale del castello.
Al di sotto del piazzale, proseguendo verso sinistra, si incontrano i locali adibiti a prigione militare.
Da ammirare all’interno del castello la chiesa dedicata a Sant'Erasmo realizzata nel 1547, al cui interno si conserva la tomba del castellano don Pedro di Toledo.