Il castello della Tour de Villa prende il nome dalla famiglia che per prima ne fu proprietaria.
A questi successero gli Aymonier e i Carrel cui seguì la cassa dei poveri della parrocchia di Saint Laurent ad Aosta, da cui prese il nome di Tour des pauvres.
Nel 1864 fu venduto a Vincent Carlin che a sua volta lo cedette al vescovo di Aosta, Mgr. Auguste Duc, che lo restaurò e ne fece la propria residenza estiva.
Nel 1921, i proprietari erano i baroni Gerbore di St. Nicolas, invece nel 1945 il castello era nelle mani della famiglia Arruga di Milano. Attualmente, il castello è contraddistinto da due parti: la torre a base quadrata del XII secolo e la parte abitata risalente al XV secolo che ha la forma semi-circolare.
La torre, accessibile tramite due porte situate sul lato nord, è suddivisa in tre piani con un granaio in legno al quale si accede attraverso una scala a chiocciola, nonché dal tetto merlato c’è un bellissimo belvedere.
La parte abitata, accessibile da una doppia scala risalente al XIX secolo, è anch’essa strutturata su tre piani. Da ammirare la sala dei ricevimenti, la cappella e la sala degli stemmi.