Castel Rafenstein ubicato sul pendio occidentale della Val Sarentino durante il periodo medioevale era importante perchè si trovava su una via commerciale che collegava San Genesio a Bolzano.
Al XIII secolo risale la costruzione del palazzo e delle mura di cinta, mentre al XIV secolo risale l'ampliamento con la realizzazione del serraglio, della torre d'ingresso e dell'ala sud.
Nel XVI secolo il castello venne dotato del bastione circolare con lo scopo di poter utilizzare le armi da fuoco come difesa del complesso.
Agli inizi del XIX secolo la fortezza venne abbandonata.
Del castello rimane solo il nucleo principale bianco-calcareo.