Die leicht längliche Gipfelkuppe des Kleinen Rossberges wird rund 10 m unter dem Gipfel von einem Graben mit rundlichem Grundriss umzogen, der sich bei einem Durchmesser von etwa 50 m lediglich an den beiden Schmalseiten tiefer (bis 2 m) einschneidet. An der östlichen Seite zum Rossberg hin findet sich eine große nischenartige Abgrabung, die wohl als planierter Standort für (Holz)Gebäude zu deuten ist. Von Mauerwerk findet sich keine Spur. Am flacheren Fuß des Berges sind Ackerstufen (Böschungen) Zeugen früherer landwirtschaftlicher Nutzung des Geländes. Im Einschnitt zum Großen Rossberg hin sind heute noch zwei Quellen vorhanden, die Weidevieh als Tränke dienen.
Wiederholt wurde die kleine Wehranlage auf dem Berg als keltischer Ringwall oder Volksburg bezeichnet. Art und Form wie auch die Erhaltung dieser Befestigung sprechen nach Vergleichen aus Baden-Württemberg jedoch eher für eine Adelsburg des hohen oder späten Mittelalters, die bislang in der Literatur noch keine Beachtung gefunden hat. Die Zufahrt könnte steil den Westhang hinauf geführt haben, wo sich stellenweise noch eine alte Wegtrasse abzeichnet.
