Få forfattere har så levende portrætteret en by, som Svend Åge Madsen har gjort det med Aarhus.

Hvis man ser bort fra længere rejser til Indien, Algeriet og USA, har Madsen været bosat i Aarhus hele sit liv. Han voksede op på Skjernvej midt mellem bryggeriet Ceres og Den Gamle By. Madsen var først elev på Møllevangsskolen, kom senere på Munkegades Skole, blev student fra Marselisborg Gymnasium i 1958, hvor han fulgte den matematiske linie. Han begyndte efterfølgende at læse matematik på Aarhus Universitet, hvor han sideløbende tog den litterære virksomhed op.

Madsen debuterede i 1962 med novellen "Den ottende dag" i tidsskriftet Vindrosen. Året efter udkom hans første roman Besøget. Han opgav matematikstudiet for fra 1963 at ernære sig fuldtids som forfatter. I 1964 giftede han sig med ergoterapeuten, Bendte Ingerlise, og flyttede til Vestre Strandallé i Risskov, hvor han har haft adresse lige siden. Aarhus dukker for alvor op i forfatterskabet med den store gennembrudsroman, Tugt og utugt i mellemtiden, der også introducerer en mere folkelig og fortællende stil. Siden har Madsen ikke kunnet slippe byen, og han har efterfølgende opbygget en stort persongalleri, som går igen på kryds og tværs af romanernes fiktive Aarhus.

Madsen var husdramatiker ved Aarhus Teater fra 1983-1986.