La rocca di Monte Varmine si pensa risalga al 1060, anche se si ipotizza che in età feudale al posto dell’attuale rocca vi fosse una fattoria fortificata, trasformata in un castrum nel IX secolo.
Al 1398 risalgono i primi lavori di ampliamento finalizzati a conferire al castello delle vere e proprie strutture militari in laterizio; a questo periodo risale la realizzazione del mastio munito di merlatura a coda di rondine, beccatelli, caditoie, troniere e feritoie.
Seguirono i lavori di costruzione della cortina muraria dotata di merlatura, e delle torri di sud-ovest e nord-ovest.
All’interno della rocca, inoltre, vennero erette delle abitazioni, nonché si procedette all’ampliamento della vecchia residenza del castellano arricchita di altre tredici stanze ed otto vani sotterranei.
Tra il XVIII e il XIX secolo venne aperto l'ingresso rivolto ad ovest, nonché venne realizzato un tempietto dedicato a San Pietro che deve il suo attuale aspetto agli interventi di recupero eseguiti nel Settecento.
La facciata del tempietto presenta lesene angolari culminante in un timpano triangolare.