Oferdingen wird erstmals zum Jahr 914 in einer annalistischen Quelle erwähnt, die davon berichtet, der Kammerbote Erchanger, ein Angehöriger der schwäbischen Herzogsfamilie, sei von König Konrad I. in der Burg Oferdingen („apud castellum Onfridinga“) gefangengenommen und ins Exil geschickt worden. Das genannte „Onfridinga“ wird heute allgemein mit der Siedlung Oferdingen identifiziert, doch geht die neuere Forschung davon aus, dass mit der Burg („castellum“) die 1896 bei archäologischen Grabungen aufgedeckte benachbarte fränkische Burganlage in Reutlingen-Altenburg gemeint ist. Demnach wäre in Oferdingen der Wirtschaftshof mit der „Fiskalkirche“ zu suchen, während die „Altenburg“ die dazugehörige Befestigungsanlage darstellte. Siehe dazu auch den Artikel Altenburg.
 
In den Zwiefalter Chroniken erscheinen Altenburg und Oferdingen gegen Ende des 11. Jahrhunderts wieder im Licht der schriftlichen Quellen. Hier wird berichtet, der Achalmgraf Liutold (+ 1098) habe dem Kloster – zusammen mit zahlreichen anderen Zuwendungen – die Hälfte der Kirche nebst weiteren Besitzungen in Oferdingen („Onfridingin“) geschenkt. Diese Stiftungen müssen kurz nach der Klostergründung um 1089/1090 erfolgt sein. Bis dahin hatten die Grafen von Achalm den Hauptbesitz im Ort inne. 1282 soll Graf Albert von Hohenberg in Oferdingen („Onfridingen“) seine Hochzeit mit der Gräfin Margarete von Fürstenberg gefeiert haben. Diese Nachricht der Sindelfinger Annalen erscheint glaubhaft, weil Hohenberg noch im 14. Jahrhundert über Lehensbesitz in Oferdingen verfügte. 1342 dürfte der Ort mit weiteren Besitzungen der Pfalzgrafen von Tübingen an Württemberg gelangt sein.
 
Erstmals 1291 wird mit dem Niederadeligen Hermann von „Ufridingen“ ein Adelsgeschlecht erwähnt, das sich nach dem Ort benannte. Es tritt letztmals 1386 auf und verfügte hier über Grundbesitz und anscheinend auch über einen Teil des Kirchensatzes. Ob die Burg, die sich im Bereich der Kirche über dem Neckartal befand, tatsächlich deren Sitz war, muss offen bleiben, da die Clemenskirche zu dieser Zeit offenbar schon Teile der Befestigung überlagerte. Möglicherweise handelte es sich um eine sehr viel ältere Anlage.

 Die evangelische Clemenskirche liegt im Bereich der abgegangenen Burg. In den unteren Teil des mächtigen Kirchturms könnte der Bergfried der abgegangenen Burg aufgegangen sein. Unmittelbar neben der Kirche sitzt das im Sockel massive Pfarrhaus auf die ehemalige Ringmauer auf. Der zweigeschossige, verputzte Fachwerkbau mit massivem Sockel und Geschossvorkragungen wurde wie das Kirchenschiff 1638 bei einem Brand zerstört und 1655 neu errichtet. Das heutige Erscheinungsbild datiert aus der Zeit um 1800.