Søn af Peter og Mikkeline Rasmussen. Født som 11. barn i en børneflok på 22. Han var svagelig som barn og fik tuberkulose. Han var flere gange på sanatorium ved Kolding Fjord. Hans skolegang var derfor ustabil, så han fik ikke mulighed for at gå til konfirmationsforberedelse og blev borgerligt konfirmeret.

Ove blev boende sammen med sin mor og efter hendes død sammen med to søstre. Hand var, trods den afburdte skolegang, meget dygtig med både hænder og hoved. Han læste meget og interesserede sig for historie, teater og musik.