Gaden blev anlagt før år 1500 langs med og nord for den da nedlagte, middelalderlige befæstning. Ligesom det er tilfældet med Badstuegade, menes Graven at være opstået på en opfyldning af den gamle befæstningsgrav. Gadeforløbet fortsætter ad Klostergade i en bue ned om klosteret til Vestergade. Navn-givet før 1594. Navnet udtales med langt a som følge af en oprindelig flertalsform.

Se arkitekturtegninger og byggesagskorrespondance på Aarhus Kommunes digitaliserede byggesagsarkiv på https://byggesager.aarhuskommune.dk/