Han tog i 1821 initiativ til oprettelse af Aarhus Stiftsbibliotek. Gennem årene etablerede han en stor samling oldsager, som han senere skænkede til det historisk-antikvariske selskab, der blev begyndelsen til forhistorisk museum i Aarhus. Fra 1840-1852 var han medlem af borgerepræsentationen (byrådet) i Aarhus. Som medlem af borgerrepræsentationen skrev han referater af deres møder til brug for Aarhuus Stiftstidende, som var første gang man offentliggjorde oplysninger fra disse møder.

Høegh-Guldberg blev også fattigforstander i byen og medlem af skovkommissionen

Høegh-Guldberg sad i bestyrelsen for Arveprinsesse Carolines Børneasyl og var aktiv i arbejdet med Prins Frederik Ferdinands Tegneskole, forløberen for Teknisk Skole. Han var også med ved oprettelsen af Spare- og Lånekassen.

Gift 1* 1805 med Margrethe Pallene Hahn (1782-1835)

Gift 2* 1841 med Cathrine Johanne Emilie Friis (1813-1899)

Bopæl:

Frederiksgade 593 (FT 1834)