Elias Ølsgaard var søn af en gårdejer. I 1893 startede han på Aarhus Teknisk Skole i Aarhus, men i 1898 blev han optaget på Kunstakademiet i København, hvorfra han i 1900 blev udlært billedhugger.

Efter studierne i København flyttede Ølsgaard tilbage til Aarhus. I Aarhus samarbejdede han med Hack Kampmann og Karl Hansen-Reistrup om det nye Aarhus Teater. I teatret udførte Ølsgaard fire buster og lavede teatrets stuk. Ølsgaard samarbejdede også med Kampmann og Hansen-Reistrup om opførelsen af Statsbibliotektets bygning (i dag hjemsted for Erhvervsarkivet og Aarhus Stadsarkiv) på Vester Allé 12.

I 1901 blev Elias Ølsgaard viet med Voldborg Antoinette Brøns Ølsgaard - født Appelt (1877-1939). Volborg var stærkt engageret i Dansk Kvindesamfund og redaktør på bladet Fred og Frihed. Ægteparret bosatte sig i Mejlgade 36 men flyttede senere ud til en stor villa på Dronning Margrethes Vej 14.