Le prime notizie sul castello di Aymavilles risalgono al 1278, quando la struttura constava solo di una torre quadrangolare circondata da una cinta muraria.
Della torre sono ancora visibili le grosse murature a scarpata e un muro di spina che la divide in due ambienti.
Nel 1357 Aimone di Challant, feudatario di Aymavilles, commissionò i lavori di rinforzamento difensivo del castello che prevedeva la realizzazione delle quattro torri angolari a pianta circolare.
A questo periodo risale la merlatura della struttura con feritoie e la cinta muraria doppia dotata di fossato e ponte levatoio.
Nel 1882, l’allora proprietario del castello, il senatore Bombrini, riportò alla luce due tavole rappresentanti rispettivamente la Madonna e l'Arcangelo Gabriele, che per tutti questi anni erano sotterrate nelle soffitte della fortezza.
Dal 1970 ad oggi la struttura è di proprietà dell'Amministrazione regionale valdostana.