Castel Flavon di origine medioevale si presume sia stato edificato sui resti di un castelliere retico dei primi anni del XIII secolo.
La fortezza inizialmente era di proprietà degli Haselberg, cui seguirono tra il 1475 e il 1541 i signori di Fiè che riuscirono a non modificarlo.
La struttura a tre ali, conserva molti affreschi cinquecenteschi, attribuiti ad autori come Tilman Riemenschneider, conosciuto in Italia come Bartolomeo Dill Riemenschneider.
Tra il 2001 e il 2002, sono stati eseguiti i lavori di restauro delle ali est e ovest e di ripristino dell'ala nord.
Durante i rifacimenti sono state riportate alla luce importanti tracce della costruzione trecentesca.