I 1938 begyndte Robert Fisker på Aarhus Seminarium, hvor han blev færdig som lærer i 1943. Umiddelbart efter, i 1944, blev han ansat som lærer på Samsøgades Skole, og det var et arbejde, som fik afgørende indflydelse på hans forfatterskab. Han var ansat ved Samsøgades Skole fra 1945-1961 og som overlærer frem til 1971.

Fisker kom til at arbejde med læsesvage elever. Han indså hurtigt, hvor svært læsesvage og ordblinde børn havde det i skolen. De følte sig ofte mindre værd og uden for fællesskabet med de normalt læsende børn. Udviklingsmæssigt og intellektuelt var de fuldt ud på højde med de andre børn, så det var ikke nogen gangbar idé blot at stikke dem bøger til yngre alderstrin. Fiskers arbejde for de læsesvage elever skulle vise sig at blive et stort gennembrud for det læsepædagogiske arbejde i skolen. Som anerkendelse for sit arbejde blev Fisker på sin 60 års fødselsdag optaget som æresmedlem af Læsepædagogernes Landsforening. Han blev en af de mest produktive forfattere i Danmark. Tæller man hans udgivelser sammen, runder man tallet 150. Han arbejdede på Samsøgades Skole frem til 1971, hvor han tog orlov for at afprøve livet som fuldtidsforfatter.