Skolens datering er usikker, men går tilbage til omkring 1676. Der har været tale om et ydmygt og meget sparsomt udstyret hus, som lå lige nord for kirken, men der skulle alligevel gå godt hundrede år, før baron Gersdorff til Marselisborg, der i 1771 havde købt Viby Kirke, i 1780 flyttede skolen ”til det hus på Viby kirkefortov”, som en præsteenke havde ladet opføre nogle år tidligere.

Siden fulgte arkitektens Ludvig A. Petersens udvidelse af dét, vi idag kender som Viby Skole fra 1906, og senere arkitekten Christian E. Rohdes "røde skole" fra 1915, der udvidede med en gymnastiksalsbygning og overlærerbolig i 1919. Viby Skole opnåede i perioden 1958-1962 status som 2-sporet skole.