Omkring år 1230 overdrog biskoppen den tidligere domkirke Sanct Nicolai Domkirke til Sortbrødreordenen, som ønskede at oprette et kloster i byen. De rev kirken ned og byggede en ny, i dag Vor Frue Kirke, og i løbet af de følgende 200 år udbyggede de klosteret med tre fløje. Efter reformationen blev klosteret overdraget til byen af Christian den 3 i 1541. Betingelsen var, at stedet skulle bruges til hospital og at give ophold til fattige, ældre og syge. Dette blev efterhånden udvidet til også at omfatte sindssyge og i 1820 kom stedet under fattigvæsenet; blev dermed til Arbejds- og Forsørgelsesanstalt, og fungerede som sådan indtil den nye Fattiggaard stod færdig i 1870. Sidenhen er bygningen blevet brugt som ældreboliger under stiftelsen Vor Frue Kloster i Aarhus, og ved ombygning og istandsættelse i 1877-79 blev hele østfløjen og det meste af nordfløjen revet ned og erstattet af nye bygninger. Fredningen omfatter vest- , nord- og østfløjen samt fratergangen langs nordsiden af Vor Frue Kirke, der ikke er omfattet af fredningen. Her ses en stor del af klosteret fra havesiden ved muren ud mod Klostergade og Klosterstien. Fra højre vestfløjen med vestenden af nordfløjen. Bagerst til venstre nordlige del af østfløjen og ovenover det hele spiret på Vor Frue Kirke.