Il palazzo Ca' d'Oro affacciato sul Canal Grande fu realizzato tra il 1421 ed il 1440 per volere del mercante veneziano Marino Contarinie fu il risultato del lavoro di più maestri coordinati dallo stesso committente.
Dopo una lunga serie di passaggi di proprietà, l’edificio sotto Alessandro Trubetzkoi fu sottoposto ad un restauro ad opera dell’architetto Giovan Battista Meduna che oltre alla modificazione della facciata apporto di cambiamenti anche all’interno dello stabile.
Al 1894 risalgono nuovi lavori di ristrutturazione su commissione dell’allora proprietario il barone Giorgio Franchetti con lo scopo di trasformare il palazzo in un “museo” per ospitarvi la sua collezione di opere d'arte.
Nel 1916 l’edificio fu ceduto allo Stato Italiano che nel 1927 vi inaugurò il museo intitolato "Galleria Giorgio Franchetti".
Il palazzo fu originariamente così chiamato perché la sua facciata era rivestita completamente in oro, peculiarità oggi scomparsa.
L’attuale facciata è caratterizzata da una asimmetria tra la parte sinistra costituita da tre fasce traforate e l'ala destra dominata dal marmo.
Il palazzo, internamente, ha una pianta a forma di “C” che si sviluppa intorno una corte scoperta al centro della quale è collocato un marmo broccatello di Verona scolpito con raffigurazioni delle allegorie femminili della Giustizia, della Fortezza e della Carità.
Peculiare è il pavimento del portico del piano terreno ricoperto da marmo e con motivi geometrici che riproducono le pavimentazioni medievali delle chiese dalla laguna veneta.
Il museo ivi allestito ospita non solo la collezione di opere d'arte raccolta da Giorgio Franchetti ma anche bronzi, sculture e dipinti. Tra le opere ricordiamo il San Sebastiano di Andrea Mantegna e la Venere alla specchio di Tiziano.