Il castello di Martano situato ai margini della città antica, fu edificato verso la fine del XV secolo, ma nel 1481 dopo la riconquista aragonese, la struttura venne ricostruita, e protetta da un fossato, e cinque torri, di cui si conservano la torre di via Marconi e l'imponente torrione cilindrico con base scarpata; a queste aggiungiamo il toro marcapiano, tre feritoie ed una cannoniera strombata.
Alla seconda metà del 1600 risalgono i lavori di trasformazione della struttura da fortezza a palazzo baronale, ad opera dell'architetto Francesco Manuli, al quale si deve la realizzazione dell’attuale facciata ospitante il portale d’ingresso decorato dalle bugne inclinate.
Da ammirare i pavimenti interni maiolicati e le volte dipinte con fiorami, trombe, pifferi, tamburelli, festoni, scene bucoliche e scorci di campagna.