Han kom i handelslære som 15-årig. I 1868 startede han egen forretning i Marcus Bechs gamle købmandsgård i Borgporten, men året efter flyttede han til Skt. Olufs Gyde, og i 1881 nyindrettede han sig i Mejlgade 7. Ved århundredskiftet regnedes forretningen for landets største udenfor København. Han var medlem af byrådet 1880-1884 og igen 1894-1899, hvor han især interesserede sig for hospitalsvæsenet. Carl Bertelsens Gade på Frederiksbjerg er opkaldt efter ham.