Il palazzo baronale di Latiano, denominato anche castello, si ipotizza sia stato edificato nel XII secolo, ed appartenuto alla famiglia Imperiali fino al 1909, periodo in cui fu acquistato dal Comune, e utilizzato come sede degli Uffici Comunali.
L’edificio è dal punto di vista strutturale e architettonico molto simile ad un castello, data la presenza di un fossato, ma acquisterà definitivamente il titolo di residenza signorile intorno al 1670, quando il feudo passò di proprietà a Carlo Imperiali III.