Der halbrund aus der Ringmauer vorkragende Turm gehörte zur ursprünglichen Stadtbefestigung des 12. Jahrhunderts. Solche Wehrtürme dienten zur Absicherung von Mauerabschnitten, die sich zwischen den mächtigen Stadttoren befanden. Ein eindrückliches Beispiel für eine intakte Ringmauer mit Wehrtürmen ist das Städtchen Murten im Kanton Freiburg. Der Turm verweist aber auch auf die Tatsache, dass die Stadtmauer aus den geschlossen aneinandergebauten Hinterhäusern der Altstadtliegenschaften bestand. Diese dienten in der Regel als Wirtschaftsräume und enthielten oftmals eine offene Küche und Lagerräume. Die Hausbesitzenden mussten jeweils entsprechende Abgaben und auch Wehrpflichten erfüllen, so waren sie für die Instandhaltung der Anlage verantwortlich.
1726 gelangte Hans Georg Steiner im Besitz der Liegenschaft «zum Steinberg» und begann das dazugehörige und sonnig gelegene Hinterhaus in ein Wohnhaus umzubauen. Dabei erhielt er vom Rat die Erlaubnis, den alten Wehrturm auf eigene Kosten zu renovieren und umzugestalten. Steiner liess dann eine grosse Fahne mit dem Stadtwappen darauf errichten. Er musste aber versprechen, dass der Turm Eigentum der Stadt bleibt und in Kriegszeiten von dieser auch benutzt werden durfte.
1773 kaufte Johann Heinrich Ziegler (1738–1818), der Mitgründer des Laboratoriums den Wohnkomplex. Ebenfalls kaufte er noch die westliche Nachbarliegenschaft und erweiterte so das Haus um zwei Achsen auf die heutige Breite. Die Liegenschaft ging nach dem Tod des Besitzers an dessen Sohn Johann Jakob Ziegler-Pellis (1775–1863).