I 1919 købte restauratør Frederik Emanuel Olesen Gaarde (1867-1938) en ejendom for 60.000 kr. på Skolebakken 3 af købmand Larsen. Ejendom blev revet ned, og i stedet fik Gaarde opført Restaurant Palæ på grunden.

Den nye ejendom, der stod færdig på Skolebakken i 1921, blev opført efter tegninger fra arkitekt Christian Frühstück Nielsen.

Restauranten var en af byens mest mondæne med udendørsservering med udsigt over det havnen. Efter blot to år blev den øverste terrasse dog omdannet til dansesal - den voksende industrihavn var ikke længere en attraktiv udsigt.

Salen blev udlejet til forskellige foreninger, men trods dette kæmpede restauranten med økonomisk underskud, og i 1927 kom restauranten på tvangsauktion.

Nye ejere forsøgte at lokke kunder til med forskellige tiltag. I en annonce bragt i Århus Stiftstidende fra oktober 1928 kunne gæster eksempelvis for 2,50 kr. opleve Cabaret, mens de indtog et varmt måltid mad. Der var også koncert med kapelmester Niels Jørgensen, og dansant fra kl. 22.00-24.00 med et Jazzband. En diner, der bestod af østers, ristet brød, smør, andesteg, compot, salat og cep. Palæ kunne indtages for 2,50 kr.

Senere hen genåbnede restauranten flere gange med forskellige navne og forskellige ejere. I 1936 blev restauranten omdannet til Fiskerestauranten Palæ, og også Restaurant Plaza har holdt til i bygningen.

Slutteligt blev bygningen lejet ud til andre formål, frem til den i 1950'erne blev nedrevet for at gøre plads til Katedralskolens udvidelser.