La torre, posta nel luogo ove in epoca romana vi era la Porta Principale Destra della cinta muraria, in epoca medievale è stata riadattata in castello.
Nel corso dei secoli è stata utilizzata come tribunale, magazzino del carbone e granaio. Due sono le ipotesi che si pensa siano alla base dell’attribuzione del nome “Bramafam”: si deice che durante i periodi di carestia, la popolazione si recava presso la torre per chiedere il grano gridando il nome “Bramafam” che nella lingua franco-provenzale sta a significare “gridare per fame”; la seconda ipotesi fa riferimento ad una leggenda che narra di una nobildonna accusata di adulterio dal consorte.
Questa fu rinchiusa nella torre per tutta la vita senza mangiare.
La torre venne anche ceduta dagli Challlant, primi proprietari, ai Savoia.
A fine '800 fu oggetto di ristrutturazione che portò alla luce l'antica strada romana.