Aarhus Musikskole - eller Aarhus Folkemusikskole, som navnet oprindeligt var - blev oprettet af pianisten C. M. Savery og private musikpædagoger i 1933 i den gamle Forældreskole, Guldsmedgade 25. Skolen tilbød fra starten musikundervisning til et halvt hundrede mennesker. Ideen med folkemusikskoler kom fra Tyskland og var helt i tidens moderne ånd.

I 1935 blev skolen overtaget af musikpædagogen Eduard Müller, der udvidede den stadigt voksende folkemusikskole med en musikpædagogisk afdeling, hvor talentfulde elever — helst fra folkemusikskolen - men også udefra — med lyst og evne for musikpædagogisk arbejde (som der var og er brug for) kunne forberede sig til musikpædagogisk eksamen. Denne afdeling kaldtes Jydsk Musikakademi. I 1962 lukkede Aarhus Folkemusikskoles overbygning Jydsk Musikakademi.

I efterkrigstiden blev operaforståelse for børn særlig populært - så populært, at det blev radiotransmitteret med musikskolens legendariske leder, Jette Tikjøb.

I 1977 blev det en kommunal institution. Samtidig rykkede skolen ud af Guldsmedgade 25, hvor den havde haft til huse siden 1943 og ud på de kommunale skoler.