Il castello Caracciolo situato su un altura della cittadina di Brienza, si ipotizza sia stato edificato nel IV secolo, ma nel 1571 venne sottoposto a lavori di rifacimento, di cui si conservano tracce nel mastio cilindrico, nella mole della fortezza, e nella semitorre circolare, situata nel nucleo centrale della cinta muraria.
Al XV secolo risalgono i primi lavori di ampliamento commissionati dai nuovi proprietari, i Caracciolo, ai quali si deve la strana forma triangolare elevata su tre piani.
Con Maria Giulia Caracciolo, ultima esponente della famiglia, ha inizio la decadenza del castello, che si è protratta fino ai nostri giorni.