Originariamente, Castelvecchio era chiamato Castello di San Martino in Aquaro, in memoria dell’omonima chiesa racchiusa nella Corte D’Armi, risalente all’VIII secolo, mentre il nome attuale sopraggiunse solo dopo la costruzione dei castelli San Felice e San Pietro.
Considerato il più importante monumento militare della signoria Scaligera, il castello era situato tra la testata della cinta a destra d'Adige, e la testata della cinta a sinistra d'Adige. Data la sua posizione, la struttura costituiva un importante elemento della difesa della città, basti pensare che il ponte serviva come via di fuga o di accesso per gli aiuti provenienti dalla Valle dell'Adige.
Si presume che la sua costruzione abbia uno stretto legame con la cinta urbana eretta in epoca comunale lungo l'Adigetto, e sia stata voluta da Alberto I della Scala, nel 1298.
Il castello vero e proprio è il risultato di un intervento definitivo voluto da Cangrande II della Scala nel 1354.
Il fortilizio a sud della cinta comunale, divenne la residenza fortificata, mentre a nord della stessa cinta fu edificata la Corte d'Armi.
Il complesso fu portato a termine nel 1376 con la realizzazione del Mastio ad opera di Antonio e Bartolomeo della Scala.
Durante l’epoca veneta, Castelvecchio venne usato come: residenza del castellano e del cappellano, caserma, arsenale d'artiglieria, armeria, polveriera, magazzino, mentre parte del Mastio come carcere.
Nel 1759 la fortezza divenne sede del Veneto Militar Collegio, un istituito finalizzato alla formazione di ingegneri, per cui furono necessari i lavori si sistemazione degli edifici presso la corte meridionale, nonché la costruzione di un nuovo edificio ortogonale alla Reggia.
Durante l'occupazione napoleonica, Castelvecchio fu trasformato e adattato ad arsenale; a questo periodo risale la demolizione dei fabbricati della corte settentrionale e la costruzione della nuova caserma difensiva situata lungo i lati ovest e nord della Corte d'Armi.
Le torri furono coperte da volte casamattate e nei muri furono aperte le cannoniere.
Al 1805 risale la demolizione dell'Arco dei Gavi e della Torre dell'Orologio.
Verso la fine degli anni cinquanta dell'Ottocento, fu installata, sulla terrazza del Mastio, la stazione di telegrafia ottica.
Il castello, sotto l'Amministrazione Italiana fu trasformata in caserma.
Negli anni 1923-1926, la Torre dell'Orologio venne ricostruita nonché venne ricomposto e restaurato l'Arco dei Gavi.
La struttura della fortezza attualmente si compone di tre parti: la Corte della Reggia scaligera; la Corte d'Armi e la Corte del Mastio.
Tra la Corte del Mastio e la Corte d'Armi si erge la cortina muraria merlata.
Le differenti fasi costruttive hanno inciso anche sui diversi materiali utilizzati per la costruzione, basti pensare le estremità dei muri sono costituiti da blocchi grezzi di tufo, la parte centrale presenta fasce alterne di ciottoli e laterizio, mentre verso la Torre dell'Orologio vi è un tratto formato da grossi blocchi lapidei.
La Corte della Reggia a pianta trapezoidale era un tempo la residenza fortificata scaligera caratterizzata da una torre-porta, con ponte levatoio, mentre a levante della medesima si erge la torre.
A settentrione, invece, è collocata la Corte d'Armi, protetto sul perimetro esterno dal fossato munito da quattro torri, merlate e coperte da tetto ligneo a padiglione.
Nella cortina orientale è inserita la torre-porta con ponte levatoio.
Accanto alla torre d’angolo sul corso, si trova un secondo ingresso secondario con ponte levatoio.
Nello spazio interno della corte si trova la caserma difensiva napoleonica a struttura casamattata, con volte terrapienate.
Il piano terra della caserma era adibito a magazzini e laboratori per i materiali d'artiglieria, mentre al primo piano vi erano gli alloggi.
Alla cortina comunale è addossato lo scalone che conduceva al ballatoio.
Il Mastio, che domina tutto il castello, ospita sulla faccia orientale l’affresco del leone di San Marco, simbolo del dominio veneto.
Il ponte di Castelvecchio è caratterizzato da tre grandi archi diseguali che oltrepassano il fiume.