Ejendommen tilhørte Frimurerlogen frem til 1907, hvor de mageskiftede med Arbejdernes Fællesorganisation i Aarhus og dermed overtog deres byggegrund i Christiansgade. Arbejdernes Fællesorganisation indrettede Arbejdernes Forsamlingshus - et forsamlingshus til brug for den aarhusianske arbejdebevægelses fagorganisationer.

I 1939 skiftede Arbejdernes Forsamlingshus til Folkets Hus og i 1970 til Århus Kongreshus. Ejendommen fik i 1920' og 1930'erne navnet Skraldet, for det var der, man kunne opleve et skrald af en fest. I 2004 solgte LO Aarhus Århus Kongreshus til byggeselskabet Mogens de Linde.