La torre del Balivo è situata all'angolo nord-est della cinta muraria romana.
Nel XII secolo la famiglia nobile locale, i De Palais, che ne prese possesso decise di elevare la struttura smantellando parte della cinta muraria.
Agli inizi del XV secolo la torre diventò sede del balivo e vi vennero trasferiti il tribunale e le carceri. Nel 1626, con il trasferimento dei rappresentanti ducali in altra sede, nella torre rimasero solo le carceri. Nel 1984 il penitenziario venne chiuso e tuttora è in fase di ristrutturazione.