Il castello di Issogne fino al 1379 fu di proprietà dei vescovi di Aosta. Intorno al 1400 grazie a Ibleto di Challant la struttura è stata restaurata e ampliata.
L’attuale aspetto lo si deve a Giorgio di Challant, priore di S. Orso, che tra il 1490 e il 1510 lo restaurò trasformandolo in una lussuosa dimora.
Nel 1872, il castello passò nelle mani del pittore Vittorio Avondo che dopo averla restaurata la donò allo Stato.
Prima di accedere alle sale interne bisogna oltrepassare il cortile, sul quale s'affacciano gli stemmi della famiglia Challant, e al centro del quale si trova la celebre fontana del melograno interamente in ferro battuto. Dal cortile si accede al portico, le cui lunette sono riccamente affrescate.
Le sale visitabili, per quanto riguarda il pianterreno sono: la sala da pranzo, la cucina e la sala baronale ove si può ancora ammirare un camino in pietra affiancato da un leone e da un grifone; circa il primo piano: la cappella dalle volte a ogiva e le camere della contessa e del conte Renato.
Al secondo piano sono visitabili: la stanza denominata del “re di Francia” al cui interno campeggia un soffitto a cassettoni decorato da gigli e un camino con scudo della dinastia francese dei Valois; la stanza dei "Cavalieri di San Maurizio" ove si trova il dipinto che riproduce la croce dell'ordine.