Oprindeligt lå Aarhus Bispegård nord for domkirken - ved Rosensgade. Efter reformationen blev et tidligere kapitelhus på Bispetorvet indrettet til bispegård.

Aarhus Byråd så i midten af 1800-tallet gerne bispegården nedrevet, men biskop Brammer modsatte sig dette. Da Brammer forlod bispeembedet i 1881, var byrådet dog ikke sene til at få bispegården nedrevet. Efter nedrivning på Bispetorvet flyttede bispeembedet i 1882 sin administration til en ejendom på hjørnet af Sønder Allé og Fredensgade. Denne ejendom blev herefter kaldet Bispegården.