Aarhus Gymnastikforening blev oprettet allerede i 1880, mens fodboldholdet først blev etableret i 1902, da 13 af foreningens bedste gymnaster blev forsøgt rekrutteret til et fodboldhold.

Den 1. januar 1906 meldte AGF fodbold sig ind i Jydsk Boldspil Union, og i sæsonen 1907/08 og 1908/09 vandt holdet det jyske mesterskab.

Initiativtager til oprettelsen af et fodboldhold var H. M. Lind.