Um 1740 entstand vermutlich im Auftrag des Winterthurer Ratsherrn Heinrich Steiner (1703–1753) in der Nähe des Schmidtores die kleine Sommerresidenz. Es handelt sich um eines der ersten Steingebäude ohne gewerblichen Zweck ausserhalb der bis ins 19. Jahrhundert bestehenden mittelalterlichen Stadtbefestigung. Tatsächlich zählt es sogar zu den ältesten erhaltenen Lust- und Gartenhäuschen im ganzen Kanton Zürich. Bis 1718 verbot die städtische Gesetzgebung den Bau von Wohnhäusern ausserhalb der Stadtmauern. So war Winterthur lange Zeit von Ackerland umgeben wobei auf dem Gelände des heutigen Stadtgartens überwiegend kleine Gartenparzellen für den Gemüseanbau standen. Die kleine Residenz am Westende dieser Gartenfläche regte weitere wohlhabende Bürger dazu an, dem Beispiel zu folgen.
Solche auf privatem Grund errichtete Residenzen ausserhalb der Stadtmauern werden auch «Lustbauten» genannt, weil sie den wohlhabenden Familien als Freizeit- und Erholungsort dienten. An der Wende zum 19. Jahrhundert entstanden dann wesentlich grössere solcher Residenzen, nämlich 1771 das Haus «zur Pflanzschule», 1787 das «Lindengut» und 1813 der «Adlergarten».