Die zahlreich aufgefundene vorgeschichtliche Keramik belegt ein wiederholtes Aufsuchen des Berges zumindest in der Bronze- und Latènezeit. Die flachen Mulden an der nördlichen Hangschulter könnten nach Vergleichen andernorts sowie den hier geborgenen Keramikscherben durchaus mit Holzgebäuden besetzte Siedlungsstellen (Podien) aus vorgeschichtlicher Zeit darstellen.
Anzahl und Qualität der Funde aus hochmittelalterlicher Zeit sprechen für eine größere Bedeutung des Platzes im späteren 10. und 11. Jahrhundert, so dass mit einer frühen Adelsburg gerechnet werden darf. Die recht gute Erhaltung der Wälle und Gräben wie auch die aufwendig gestaltete Zufahrt legen eine mittelalterliche Entstehung dieser Befestigungen nahe.
Das durch Gräber wie auch die Namensendung als frühmittelalterliche Gründung ausgewiesene Dorf Gönningen wurde um die Mitte des 13. Jahrhunderts durch die Edelfreien von Stöffeln zur Stadt ausgebaut. Der damalige Burgsitz lag sicherlich auf dem unmittelbar über dem Dorf gelegenen Stöffelberg. Im späten 11. Jahrhundert sind Edelfreie von Gönningen mit Verbindungen zur überregional bedeutenden Gründersippe des Klosters St. Georgen im Schwarzwald bekannt, im gleichen Raum und zu gleicher Zeit treten auch erstmals die Herren von Stöffeln auf. Ob es sich beim Rösslesberg um eine Vorgängeranlage der Stöffelburg handelt, muss offen bleiben.
