Det var ”Kommerceraad Ole Olsen udi Aarhuus, som da ejede Skaarupgaard”, der i 1741 tog initiativet til at bygge den første skole i Elsted. Den fik sin plads ved det østre kirkedige neden for Elsted Kirke (nuværende adresse: Elsted Kirkeplads 4-6), og som første skoleholder indsatte man en lokal husmand, Knud Sørensen Kroer, der ”holdt” helt frem til 1783, da han blev afløst af sin søn, Niels Knudsen. Med op imod et halvt hundrede elever, som var fordelt i en yngste og ældste klasse, forblev skolen 2-klasset med kun én lærer helt frem til 1910, da Elsteds fjerde skole blev indviet.