Il castello di Pierosara denominato anche castello Petroso, si pensa che sia stato edificato prima dell’anno mille, e che fino al 1212 era sotto il dominio dell’abbazia di San Vittore delle Chiuse.
Ceduto successivamente per problemi economici al castello di Fabriano, il maniero aveva un proprio statuto ed era governato da quattro capi.
L’annessione del castello al comune di Genga avvenne nel 1809, anno in cui Napoleone formò il Regno d'Italia.