Il Palazzo Apostolico risalente al primo ‘500 fiancheggia la piazza antistante il Santuario della Santa Casa, e fu realizzato su progetto di Bramante.
Al XVIII secolo risale l’aggiunta da parte di Luigi Vanvitelli del braccio rivolto verso la facciata della Basilica.
Dal 1936 il pianterreno ed i seminterrati sono riservati alla sosta dei "treni bianchi" che trasportano i pellegrini infermi, mentre i locali vicini alla chiesa ospitano la sede della Congregazione della Santa Casa.