På den anden side af vadestedet ved Immervad gik vejen mod syd op ad en stejl bakke, og da der blev bygget bro ved vadestedet, fik vejen naturligt nok navnet Brobjerg.

Vejen blev meget tidligt bebygget før reformationen lå det ene af byens to klostre ved Brobjerg nær bakkens top.

Under svenskekrigene i 1640'erne blev gadens yderste huse nedbrudt af svenskerne for at skaffe bygningsmaterialer til skanser. I begyndelsen af 1700-tallet blev der, efter nogen politiseren , bygget en stor købmandsgård uden for byporten, og gaden var her-med udbygget helt til den nuværende rådhusplads.

I de næste godt 100 år er Brobjerggaden ofte omtalt for sine dårligt vedligeholdte bygninger, hullede brolægning o.s.v.

Da Kong Frederik VI var involveret i beslutningerne omkring en fornyelse af Brobjergport i 1824, fik porten navnet Frederiksport, og samtidig fik gaden sit nuværende navn.

Ved Frederiksgades tilslutning til Rådhuspladsen blev der i 1978 plantet én lind, Tilia cordata. På strækningen fra Mørks Gade til Åboulevarden blev der i forbindelse med gadens etablering som gå-gade i 1975 plantet én søjle-elm, Ulmus carpinifolia , ud-for nr. 58. En lind, Tilia cordata, place-redes i tilknytning til Aage Bruun Jespersens kravleskulptur som blev opstillet I 976. En lind, Tilia cordata, blev plantet på pladsen ved Telefontorvet, tre lind, Tilia cordata, over for Fiskergades udmunding samt én lind, Tilia cordata, på pladsen ved Åboulevarden. Træerne er søgt placeret således, at der gadeforløbet igennem vil være visuel kontakt mellem disse. På Telefontorvet blev der i 1973 som et visuelt tyngdepunkt plantet tre lind, Tilia cordata, i tilknytning til et uetableret springvand.

Se arkitekturtegninger og byggesagskorrespondance på Aarhus Kommunes digitaliserede byggesagsarkiv på https://byggesager.aarhuskommune.dk/