Castel Gandolfo è dal 1597 la residenza estiva del Papa, e i suoi giardini accolgono le rovine della villa romana di Domiziano.
L’edificio venne edificato a partire dal 1628 per volere di papa Urbano VIII, e progettato da Carlo Maderno sulla struttura di un castello feudale che era stato dei Gandolfi e dei Savelli.
L’aspetto attuale del palazzo risale al 1660 sotto papa Alessandro VII, nonostante nel 1930, dopo i Patti lateranensi, vennero apportate delle modifiche.
Fu residenza estiva dei Papi fino al 1870, anno in cui venne sancita la fine dello stato pontificio e i papi furono costretti a rifugiarsi in Vaticano.
Nel 1929 a seguito della nascita dello Stato della Città del Vaticano, tutte le ville papali di Castel Gandolfo furono dichiarate dominio extraterrioriale pontificio e con Papa Pio XI il palazzo pontificiò tornò nuovamente ad ospitare i pontefici.
Da ammirare al suo interno la Cappella Privata dove è custodita un'immagine della Madonna del Santuario di Częstochowa.