1669 liess Stadtrichter Hans Ulrich Hegner das «Haus zum Schiff» bauen. Es handelte sich damals um das erste Wohnhaus ausserhalb der Stadtmauern. Für den Bau hatte Hegner deshalb eine Sonderbewilligung vom Kleinen und Grossen Rat einholen müssen, denn eigentlich war das Gebiet der Vorstadt dem Färbergewerbe vorbehalten. Es verfügte über ein gemauertes Erdgeschoss und ein leicht hervorkragendes Obergeschoss, das in Fachwerkbauweise ausgeführt wurde. Als dekoratives Element besass das Haus schon von Beginn weg einen kleinen Erker. Bereits 1675 verkaufte Hegner die Liegenschaft an den Maler Jacob Weber. Das Haus diente dem Maler vermutlich als Wohnhaus und Arbeitsstätte. Danach folgten mehrere Besitzerwechsler innerhalb der Berufsgruppen der Maler und Gerber bis Ulrich Pfister es 1842 kaufte, eine Wirtschaft daraus machte und es fortan den Namen «zum Kreuz» trug. Die Gaststätte genoss bald einen hervorragenden Ruf. Der Standort des Hauses direkt vor dem Schmidtor war ideal für Durschreisende. An die neue Funktion als Wirtshaus erinnert auch heute noch ein klassizistisches Wirtshausschild, dass am Erker befestigt ist.
Ab1880 erhielt das Haus zum Kreuz einen grossen Nachbar – nämlich die Schöntal Brauerei, der jedoch kein langes Leben beschieden war. 1909 ging das gesamte Areal samt Haus zum Kreuz in den Besitz des Konsumvereins Winterthur über. Dieser liess das Gebäude 1950 bis 1951 Umbauen und nahm es wieder als Wirtschaft in Betrieb. Der Speisesaal wurde dabei mit einem bemalten Kachelofen aus dem Jahr 1747 bestückt, der ursprünglich aus Kempten-Wetzikon stammten.
