Il palazzo Ghilini fu edificato nel 1732 su progetto di Benedetto Alfieri su commissione del Marchese Tommaso Maria Ghilini.
Le fasi costruttive risalgono a periodi diversi: il corpo principale fu realizzato nel 1732; la parte nord fu edificata nel 1766, mentre l'ala di via Parma è del secolo scorso.
L'ultima fase costruttiva risale al periodo in cui la proprietà del palazzo non era più del Marchese Ghilini, ma dello Stato.
Nel 1869 l'edificio fu acquistato dal Consiglio Provinciale di Alessandria allestendovi gli uffici della Provincia e della Prefettura.