Mittelstadt liegt über dem sehr früh besiedelten, fruchtbaren Tal des Neckars. Im Gewann Lachenhau und im Zehnthof wurden umfangreiche römische Siedlungsspuren ergraben. Ortsadel ist 1245 erstmals belegt. Wo sich der Sitz dieser mutmaßlichen Lehensleute der Grafen von Berg (bei Schelklingen) befand, ist unklar. Zu beachten ist die mündliche Überlieferung eines Ortsteils „Auf Burg“ unweit des Gewanns Hofstatt am oberen Ende der Neckartenzlinger Straße. Ein „Steinhaus“, das wohl ebenfalls als Adelssitz anzusprechen ist, wird 1395 erwähnt. Es wird in dem heutigen Gebäude Badbrunnenstraße 27, unweit der Pfarrkirche, vermutet. Das Haus samt umfangreichen wirtschaftlichen Rechten ist bis ins 17. Jahrhundert als österreichisches Lehen nachweisbar. Zu vermuten ist, dass es sich ursprünglich um Besitz der Grafen von Berg handelte, der mit der Grafschaft Berg-Schelklingen 1343/46 an Habsburg-Österreich übergegangen war. Zu Anfang des 15. Jahrhunderts ist das Gebäude ein Lehen der Familie Glaheimer, seit Ende des 15. Jahrhunderts wurde es an bürgerliche Familien ausgegeben.

Fachwerkbau mit Walmdach auf hohem Steinsockel, mit Spitzbogentür und Rechteckfenstern aus dem 15. Jahrhundert.

Keine Mittelstädter Burg, sondern die auf Gemarkung Pliezhausen liegende, heute abgegangene Mörsburg erscheint in der örtlichen Erzählüberlieferung. Ein Tunnel soll unter dem Neckar hindurch eine Verbindung zur Burg geschaffen haben, den „Nachtfräulein“ nutzten, um als dienstbare Geister im Ort zu wirken.