På initiativ af sergent J.C. Jensen begyndte en håndfuld atleter i sommeren 1896 at dyrke atletik i AGF. Afdelingen er dermed en af de ældste i foreningen Aarhus Gymnastik Forening af 1880 og samtidig også en af de ældste atletikafdelinger i Danmark.

Herefter udviklede afdelingen sig hurtigt, og en lang række øvrige discipliner kom til – vel at mærke kun for mænd. Medlemskab for kvinder blev først tilladt i 1945.

I slutningen af 1960’erne og begyndelsen af 1970’erne var det AGF’s herrer, der dominerede atletikken i Danmark. Med kasterne Kaj Andersen og Erik Fisker i spidsen fik AGF et væld af danske mesterskaber. Det var dog ikke kun kasterne, der tog medaljer. Klubben havde mange gode løbere i disse år.