Fiskerhuset lå tæt ved det sted, hvor jernbanebroen i dag går over Aarhus Å og krydser Brabrandstien, omtrent en halv kilometer vest for det daværende Bryggeriet Ceres.

Oprindeligt blev huset opført i 1789 som funktionærbolig under Marselisborg Gods. Fiskerhuset lå på en bevokset banke, som skød sig ind i åen, og her kunne lystsejlerne gøre holdt og få forfriskninger.

I 1800-tallet var Fiskerhuset et populært udflugtsmål for lystsejlere i Aarhus, og fra 1873 blev stedet bestyret af A. F. Gerker, der sammen med sin hustru drev stedet. I 1910 blev Gerker efterfulgt af P. Petersen, som fortsatte driften indtil ca. 1922.

Ved Fiskerhuset fandtes en tribune, hvorfra musikerne spillede op til dans og en keglebane, ligesom stedet ofte bød på fornøjelige styrkeprøver og fyrværkeri. I 1887 kunne man sågar læse i Århus Stiftstidende at et konsortium ville arrangere italienske fester ved Fiskerhuset med cither- og guitarspil, gondoler og italienske drikke.

Ved Giber Å ligger også et fiskerhus.