Omkring 1810 bosatte han sig i Aarhus, hvor han indtil sin død med stor energi førte forretninger. 1811 oprettede han byens første egentlige boghandel, der desuden solgte et bredt udvalg af kobberstik, skriveredskaber, papir og noder, og med tiden også en række instrumenter. Hertil kom oprettelsen af et lejebibliotek, som Elmquist flittigt averterede for i avisen, og som han i 1817 solgte videre for 1000 specier. I 1811 indgår han sammen med Niels Lund i redaktionen af Aarhus Stifts Adresse-Contoirs Tidende (Århus Stiftstidende), som han året efter - efter at have opnået privilegium som bogtrykker - overtager fra Lund for 5000 rigsdaler samt 1000 rigsdaler årligt indtil Lunds død.

Foruden sin bogtrykkervirksomhed virkede Elmquist som udgiver af forskellige blade, herunder det litterære tidsskrift Læsefrugter, der udkom i i alt 66 bind i perioderne 1818-33 og 1839-40. Det blev en betydelig succes med over 500 abonnenter, og foruden tysk litteratur, oversat af Elmquist selv, bragte tidsskriftet værker af Oehlenschläger, Ingemann], H. C. Andersen] og specielt St. St. Blicher, der fik flere af sine første noveller trykt i bladet.