Il castello si presume sia stato edificato intorno all'anno Mille e ampliato verso il porto fra il 1554 e il 1557 in una posizione elevata per controllare nel migliore dei modi il golfo, infatti la struttura veniva utilizzata per scopi militari.
Nel 1870 fu acquistata dal console inglese, Sir Montague Yeats Brown, e restaurata dall'architetto D'Andrade.
Dal 1961 è di proprietà del Comune ed ospita la sede di rappresentanza dell'Area Marina Protetta di Portofino.