Moin Schnuffel,
Zitat: “Den Namen Rosskastanien haben sie, weil die Früchte an Pferde verfüttert wurden. Auch heute noch werden sie an Schalenwild verfüttert. Ein weiterer möglicher Namensursprung könnte daher kommen, dass die Narbe an der Stelle, wo das Blatt mit dem Zweig verbunden war, wie ein Pferdehuf mit Nägeln aussieht.
Den hellen Fleck auf der "Kastanie", dem Rosskastaniensamen, nennt man auch Nabelfleck.“ aus: Wikipedia, Stichwort: Rosskastanie

Deine Erklärung ist also richtig, dein "Bauchgefühl" hat dich nicht getrogen. ;-)