Il castello medievale Doria Pamphili risale al XV secolo, e sorge sulle fondamenta di un primitivo nucleo fortificato; la sua costruzione fu realizzata tra il 980 e il 1002 dal conte Offredo di Monaldo. La fortezza prende il nome dai suoi ultimi proprietari vale a dire i Doria Pamphilj Landi che dal 1816 entrarono nel possesso della struttura.
Il castello a pianta trapezoidale fu costruita utilizzando le fondamenta e alcune torri della primordiale struttura.
Agli angoli si ergono le quattro torri circolari bastionate, mentre nella parte centrale si sviluppa il nucleo residenziale a tre piani, più attico coperto a falde lignee.
Una porta d'ingresso decorata da un leone e da una testa di medusa da accesso alla fortezza, dove si trova anche una cappella gentilizia con affreschi risalenti al XVII secolo, e che raffigurano la vita di san Francesco.
La struttura è attualmente sede del municipio, nonché accoglie il Museo della civiltà contadina e del Centro di documentazione dell'Oasi di Alviano, dove sono esposti gli strumenti tipici dell'epoca, e tecniche di agricoltura ed immagini del passato.