Il Castello dell'Imperatore si trova a situato in piazza delle carceri fu realizzato nel luogo dove si ergeva il forte degli Alberti, ad opera di Riccardo da Lentini per volere dell'imperatore Federico II.
La struttura in parte delimitata da un fossato e collegata alle carceri albertiane, è caratterizzato da otto torri.
Il castello, originariamente tangente alla seconda cerchia muraria, nel corso del Trecento venne collegato alla terza cerchia di mura tramite un corridoio coperto denominato Cassero.
L’aspetto odierno risale agli anni Trenta, sotto il governo fascista, e consta solo delle mura esterne.
A seguito poi dell’apertura di viale Piave, gran parte della struttura del Cassero fu demolita, infatti ne restano solo due tronconi.
Il castello dell’Imperatore, esempio di architettura sveva dell'Italia centro-settentrionale, presenta sul retro i resti dell'ospedale e della chiesa di San Giovanni Gerosolimitano risalente alla metà del XII secolo.