Il palazzo dei Priori venne edificato nel XIII secolo, ma la struttura odierna è il risultato dei lavori di rimaneggiamento eseguiti nel 1938 durante i quali venne costruito anche l’arco di collegamento dell’edificio con il palazzo Compagnucci.
L’edificio conserva al suo interno una pala intitolata la "Madonna con Bambino in trono tra Sant'Andrea, Sant'Elena e due angeli musicanti " realizzata dall’artista Joannes Ispanus.