Selve sporten havde man forsøgt at etablere flere gange i byen. Håndbolden nåede allerede i begyndelsen af 1900-tallet til Aarhus, men uden at slå igennem. Først i 1920erne fik sporten sit gennembrud i byen, da flere klubber begyndte at etablere håndboldhold, heriblandt AIA og Aarhus KFUM.

I 1935 stiftede AGF en håndboldafdeling, og godt tid efter blev Aarhus' første egentlige håndboldklub stiftet og fik navnet Aarhus Haandbold Klub. I 1937 kom endnu en konkurrent til byen, nemlig det nystiftede VRI og i 1938 fik IK Skovbakken en selvstændig håndboldafdeling.

AGF Håndbold havde en storhedstid i slutningen af 1950'erne hvor de blev danske mestre i årene 1957, 1959 og 1961.