Omkring år 1230 overdrog biskoppen den tidligere domkirke Sanct Nicolai Domkirke til Sortbrødreordenen, som ønskede at oprette et kloster i byen. De rev kirken ned og byggede en ny, i dag Vor Frue Kirke, og i løbet af de følgende 200 år udbyggede de klosteret med tre fløje. Efter reformationen blev klosteret overdraget til byen af Christian den 3 i 1541. Betingelsen var, at stedet skulle bruges til hospital og at give ophold til fattige, ældre og syge. Dette blev efterhånden udvidet til også at omfatte sindssyge og i 1820 kom stedet under fattigvæsenet; blev dermed til Arbejds- og Forsørgelsesanstalt, og fungerede som sådan indtil den nye Fattiggaard stod færdig i 1870. Sidenhen er bygningen blevet brugt som ældreboliger under stiftelsen Vor Frue Kloster i Aarhus, og ved ombygning og istandsættelse i 1877-79 blev hele østfløjen og det meste af nordfløjen revet ned og erstattet af nye bygninger. Fredningen omfatter vest- , nord- og østfløjen samt fratergangen langs nordsiden af Vor Frue Kirke, der ikke er omfattet af fredningen. Her ses klostergården mod nordøst med, fra højre, østfløjen fra 1877-79 og den del af nordfløjen der ligeledes blev nybygget i 1877-79.