Nei pressi dell’Arco di Augusto vi sono due archi in blocchi calcarei che secondo alcuni studiosi sono le Terme Graziane, come attesta un'iscrizione che ricorda la restaurazione delle terme tra il 375 e il 378 ad opera degli imperatori Graziano, Valente e Valentiniano nonché l’annesso acquedotto.
Durante il Medioevo i due archi sono stata annessi alle vicine strutture difensive e collegate ad una delle torri della cinta muraria.