Il castello di Vico del Gargano fu edificato originariamente per motivi di difesa, ma durante il dominio Svevo fu trasformato in una residenza signorile per gli svaghi di cortigiani e dello stesso imperatore Federico II.
La struttura più antica si sviluppa lungo l’asse nord-est e sud-est, chiuso angolarmente da torri quadrate. Il nucleo a nord- est si eleva su una scarpa composta da blocchi sagomati, messa in evidenza da un costolone marcapiano, mentre quello a sud-est termina alla sommità con un'elegante bifora, e l’originaria merlatura.
Da ammirare anche il bastione circolare di fortificazione, realizzato durante il dominio aragonese.