Inden Viby Vandværk blev oprettet fandtes mange små, individuelle (private) vandværker i Viby og omegn. Eksempelvis: Gl. Kongsvangs lille vandværk fra 1904, Viby Vandværk fra 1909 og Ny Kongvang Vandværk fra 1911.

Der blev gjort mange forsøg på at samle alle vandværker i en fælles vandværk, men alle de små synes, at deres var det bedste vandværk, men med nye beboelseskvarterer, såsom Rosenvænget og Rosenvang, og andre bebyggelser steg behovet for et samlet vandværk, der kunne levere vandforsyninger til dem.

I 1935 lykkes det sognerådet få fat på det største Viby Vandværk. Det blev underlagt gasværkbestyrer K. H. Jensens ledelse. Vandværket blev udvidet til at omfatte det væsentligste af de dele af kommunen, som endnu ikke var forsynet med vand. Ny Kongsvang Vandværk blev overtaget 1. april 1940 samt Gl. Kongsvang og Fredensvang vandværker blev overtaget i 1941. Derefter var der kun meget få og små områder, der havde deres eget vandværk.

Det kommunale vandværk bestod af to adskilte værker; et beliggende ved Kirkevejen i Viby og et større beliggende ved Alderslyst samt to vandtårne; et på Balagervej og et på en mark i Terp.

Udover, at ledelsen hørte under gasbestyreren, tyder meget på, at der var en tæt forbindelse mellem Viby Gasværk og Viby Vandværk, da de også i 1953 afholdte rejsegilde på en fælles administrationsbygning.