Langballe havde stået i i købmandslære ved Johannes Baunes virksomhed Joh. Baune & Co. i to år. Herefter arbejdede han fem år i Tyskland, England, Skotland og Frankrig. Efterfølgende arbejdede Langballe nogle år ved Aarhus Oliefabrik. I 1909 fik han borgerskab i Aarhus.

Langballe var medlem af direktionen for Spare- og Lånekassen i Aarhus. Formand for bestyrelsen for A/S Carl Flachs Læderfabrik. Medlem af bestyrelsen for Frederiksbjerg Trælasthandel og for A/S Turisten.

I 1910 overtog han C. Langballe & Søn som hans farfar, Carl Christian Langballe havde startet. Firmaet handlede med kalk og mørtel.