La costruzione della fortezza del Priamar risale al 1542 ed è conosciuta non solo perchè intorno ad essa sono visibili resti preromani, romani e bizantini emersi durante gli scavi ma soprattutto perchè fu la prigione per Giuseppe Mazzini, la cui cella è tutt'oggi visitabile. Nel luogo dove sorge la fortezza intorno all'anno 825 vi era una cattedrale intitolata a Santa Maria di Castello che a sua volta era stata edificata sui resti di un precedente tempio pagano. Il pavimento del sagrato del tempio era in marmo a quadrati bianchi e neri e in cima ad otto gradini vi erano le tre entrate della chiesa. Internamente, la chiesa presentava lo stesso pavimento del sagrato e accoglieva lateralmente delle cappelle decorate con tarsie e statue marmoree. L'abside, decorata da logge percorribili, era collocata in una posizione spettacolare, vale a dire a picco sul mare. Esternamente oltra al campanile vi era anche il battistero. La facciata a capanna era decorata da fasce marmoree orizzontali bianche e nere. Ma tutto ciò che rimane dell'antica cattedrale sono le mura abbandonate a ridosso della cima della fortezza. Quest'ultima presenta una sola rampa d'accesso e due piazze principali: il Piazzale del Maschio e il Piazzale della Sibilla dove sorgono gli scavi della cattedrale.