I slutningen af 1800-tallet bosatte han sig i Aarhus, hvor han omkring 1902 åbnede en arkitektvirksomhed. Peter Marius var gennem sin egen virksomhed ansat som konduktør hos kgl. bygningsinspektør Hack Kampmann under byggeriet af Toldboden og Statsbiblioteket, pr. 2015 kendt som Erhvervsarkivet. Han arbejdede også med Landsudstillingen i Aarhus i 1909 ved arkitekt Anton Rosen.