Colonia Caesar Augusta era el nombre que recibía la nueva ciudad, que gozaba del privilegio de ostentar el nombre completo de su fundador, quien encomendó su deductio, como otras muchas tareas del Imperio, a su yerno Agripa.

En la fundación de la ciudad, participaron soldados veteranos de las legiones IV Macedonica, VI Victrix y X Gemina, licenciados tras la dura campaña contra los Cántabros, con la doble intención de garantizar la defensa del territorio a la vez que fijar en él la presencia de Roma. Zaragoza contaba con el título de Colonia Inmune, lo que hacía que disfrutase de determinados privilegios como el derecho a acuñar moneda o la exención del pago de impuestos. Los nuevos ciudadnos fueron adscritos a la tribu Aniense.

En el proceso de reorganización de territorios Hispanos, se crean tres provincias, Tarraconensis, Baetica y Lvsitania, divididas en conventos jurídicos (distritos menores con funciones judiciales y administrativas); de ellos, el regido por Caesarugusta, el Convento Jurídico Caesaraugustano, era el más extenso de los siete en los que se dividía la provincia Tarraconense. Caesaraugusta asumió desde un primer momento el papel de cabecera regional, sustituyendo a la colonia Victrix Ivlia Celsa (Velilla de Ebro).

El periodo de mayor apogeo de la ciudad (siglos I y II) trajo consigo muchas de las grandes obras públicas, de las que aún hoy podemos ver algunas: el foro, el puerto fluvial (que convirtió a Caesarugusta en el principal redistribuidor de mercancías en el valle del Ebro), las termas públicas, el teatro, el anfiteatro, el primer puente de la ciudad (situado en el emplazamiento del actual puente de Piedra y que probablemente era una obra mixta de piedra y madera).

Llega el siglo III, la construcción de una imponente muralla y el abandono de las grandes obras públicas denotan el importante proceso de crisis en el mundo romano (segunda mitad del siglo III). El comercio y la vida en Caesaraugusta no decaen y ayudan al florecimiento cultural de la misma.

Hacia el 409 suevos, alanos y vándalos llegaban a la Península. Zaragoza seguía manteniéndose como ciudad romana a principios del siglo V y, gracias a las imponentes murallas, pudo defenderse de cuantos la atacaron, protegida por soldados veteranos y collegia iuvenum. Cuando en el 411 Flavio Honorio consiguió derrotar la sublevación Constantino III, en Hispania tan sólo consiguió mantener el control de la Tarraconense, que incluía el convento Caesaraugustano, el resto se perdió en manos de los bárbaros germanos. Entre el 441 y el 454 el valle del Ebro se vio azotado por los bagaudas, de los que Zaragoza se libró gracias de nuevo a las murallas y a la intervención del ejército visigodo, todavía bajo obediencia romana.

Finalmente, en el 472 el ejército visigodo al mando del conde Gauteric toma la ciudad en nombre del rey Eurico, pasando a formar parte del reino visigodo de Tolosa. La ciudad mantuvo en gran parte sus costumbres romanas y en el 504 todavía se celebraban juegos circenses.

En el 541 el ejército franco de Childeberto I y Clotario, después de haber expulsado a los visigodos de Galia, se dirigieron hacia el sur y asediaron Zaragoza. El asedio duró dos meses, ya que como no conseguían rendirla con las armas, lo intentaron por hambre. La leyenda quiere que los ciudadanos, para proteger la ciudad, paseaban por las murallas la milagrosa túnica de San Vicente Mártir. Los francos, ya convertidos al catolicismo, habrían aceptado levantar el asedio a cambio de la estola de San Vicente, que Childeberto llevaría de vuelta a París para depositarla en una iglesia relicario construida con ese propósito, que con el tiempo se convertiría en la abadía de Saint-Germain des Prés. Las consecuencias del asedio fueron hambre y enfermedades, que se extendieron por la ciudad, en arte por la destrucción de los cultivos de los alrededores.

Hacia finales del siglo VI, Leovigildo convenció a Vicente II (572-586), obispo de Zaragoza, para que se convirtiera al arrianismo. El escándalo fue mayúsculo y se mantuvo hasta la conversión oficial de los visigodos al catolicismo en el concilio de Toledo de 589. En el siglo VII, la ciudad tuvo un relativo florecimiento cultural gracias a una serie de grandes obispos, Juan II, Braulio, Tajón y Valderedo vinculados al monasterio de Santa Engracia, que poseía una importante biblioteca. Así Zaragoza se convierte en uno de los centros culturales de Hispania, junto con la Sevilla de San Isidoro y la Toledo de San Eugenio. Braulio, obispo de Zaragoza, también escribió el Liber Iudiciorum, que eliminaba la diferencia jurídica entre hispanorromanos y visigodos y que fue promulgada por Recesvinto.

La ciudad fue de nuevo protagonista en la disputa por el trono entre Suintila y Sisenando. Suintila se refugió en Zaragoza contra las tropas de Sisenando, que, ayudados por un ejército mercenario franco, sitiaron la ciudad. No consiguieron tomarla por las armas, pero deserciones y traiciones llevaron a Suintila a rendirse, con lo que Sisenando se proclamó rey en la ciudad

Desde el 714, la ciudad pertenece al Califato de Córdoba y fue un puesto avanzado en la lucha contra los reinos cristianos del norte, denominado Marca Superior, que gozó de relativa independencia. Fue gobernado en la segunda mitad del siglo X por una dinastía de origen muladí que tenía lazos de sangre con los Íñigo Arista de Pamplona, los Banu Qasi.

Tras la guerra civil (fitna) en Córdoba, a principios del siglo XI, el poder central desapareció y esto condujo a la caída del Califato y la constitución de estados independientes o taifas. Así ocurrió con la antigua Marca Superior o Zagr Alandalus, que ocupaba los territorios del valle medio del Ebro y cuya capital era Zaragoza