Die erste "Sammlung städtischer Altertümer" wurde in 1889 anlässlich der Tagung des Sülchgauer Alterumsvereins öffentlich ausgestellt. Diese Ausstellung alter Dinge bildete den Grundstock der heutigen Museumssammlung. Sie wurde nach und nach ergänzt und zunächst in der Realschule, später im Spendhaus dauerhaft ausgestellt. Ab 1909 systematisierte und erweiterte der Lehrer Gustav Haag diese "Altertumssammlung".
Der Wunsch nach einem eigenen Haus, einem "Heimatmuseum" kam in den 1920er Jahren auf und vom Reutlinger Geschichtsverein unterstützt. 1936 beschloss die Stadtverwaltung, die Räumlichkeiten des alten Oberamts im ehemaligen Königsbronner Klosterhof als Museum einzurichten. Die feierliche Eröffnung des Heimatmuseums erfolgte im Juli 1939. Nach der kriegsbedingten Schließung während des Zweiten Weltkrieges wurde es im April 1949 wieder geöffnet.
Seit 1960 leitete der ehemalige Schulleiter Dr. Karl Keim als ehrenamtlicher als Kustos das Museum. Von 1986 bis 2020 war der Kulturwissenschaftler Dr. Werner Ströbele Museumsleiter. In seiner Amtszeit begann 1989 die Neukonzeption und Umgestaltung des Museums, das seit 1939 weitgehend unverändert geblieben war. Nach dem Umbau öffnete das Heimatmuseum 1996 als stadtgeschichtliches Museum wieder.
Anfang 2021 übernahmen Christian Rilling und seine Stellvertreterin Eva Bissinger die Leitung des Hauses. Seit 2023 werden die vier Museen zur Reutlinger Geschichte als „Historischen Museen Reutlingen“ geführt. Dazu gehören das Heimatmuseum, Industriemagazin, Museum 'Im Dorf' Betzingen und Samenhandelsmuseum Gönningen. Nach dem Abschluss des Umbaus und der Sanierung des Gebäudeensembles Oberamteistraße 28-34 wird dieses das fünfte stadtgeschichtliche Museum in Reutlingen sein.
