Et sagn fra Todbjergegnen fortæller, at der har ligget en borg mellem Grøttrup og Haarup i Middelalderen og nu er det sandsynliggjort ved gravfund da en ny amtsvej skulle anlægges mellem de to byer. I 1939 blev på gårdejer Aksel Hougaards mark fundet et kampestensfundament og i nærheden blev der fundet to grave med brændte skår af fade, krukker med hanke og ornamenter. Ligeledes er der fundet ben, tænder og nogle mønter.