Das Haus „Zum Hirschen“ und sein Gasthaus wurden lange Jahre geprägt durch das alteingesessene Geschlecht der Haggenmacher. Die Haggenmachers hatten bereits vor 1450 das Heimatrecht der Stadt Winterthur erworben. In der Familiengeschichte gibt es den „Hirschenstamm“. Er wurde begründet durch Stadtleutnant und Kernenhändler Hans Jakob (1680-1917, Nr. 18 im Stammbaum), erfuhr einzig durch dessen gleichnamigen Sohn, der auch kurz Jakob (statt Hans Jakob) genannt wurde, eine Fortsetzung (1715-1793, Nr. 24). Er übernahm den «Hirschen» 1737 nach seines Vaters Tode, widmete sich daneben gleichfalls dem Kernenhandel und gelangte als Stadtrichter und Gerichtssäckelmeister zu Amt und Würden; bei seiner Wahl zum Richter wurde er als «der erste seines Geschlechts» bezeichnet. Der «Hirschen» hatte im Kreise der städtischen Gasthäuser seine bestimmte Aufgabe: Es waren ihm die Messer-, Degen- und Ringschmiede, die Hutmacher, Lismer, Sporrer und Weißgerber obligatorisch zur Unterkunft zugewiesen. Zum Haus gehörten damals eine Scheune, eine Juchart Acker hinter der Schützenmauer samt Garten, eine Juchart Acker auf dem Deutweg und anderthalb auf der Geiselweid, sodann Fässer für 127 Saum Wein (1 Saum = 161.55 Liter), 13 Betten, drei Pferde samt Wagen und Geschirr, sowie alles notwendige Inventar.
Jakob Haggenmacher arrondierte seinen Besitz im Jahre 1746 noch durch den Zukauf der Nachbarliegenschaft zum «Obern Adler» und 1752 von Reben im Schwalmenacker. Noch heute ist das Stammhaus mit den stilschönen Rundbogen in der Fassade erhalten, obschon es 1953 zum Teil ausbrannte. Der Hirschenwirt hatte die Geschäfte seines Vaters schon im Alter von 22 Jahren übernehmen müssen; so ist es verständlich, dass er in den neun Jahre älteren Anna Barbara Sulzer bald darauf eine erfahrene Lebensgefährtin heimführte.
An Arbeitslust und Unternehmungsgeist fehlte es ihm jedenfalls nicht, was ihn mit den engen Vorschriften seiner Zeit etwa in Konflikt brachte. So ward er 1741 gebüßt, weil er seine Fuhrleute schon vor der Morgenpredigt aufbrechen ließ; mit dem «Handwerk» hatte er Scherereien, weil er sich in An- und Verkauf gewisse Freiheiten erlaubte. Dem Weinhandel oblag er mit Eifer, wobei sein «Hausbrauch» auf 16 Saum festgesetzt wurde; im Umsatz aber wurde er nur durch den Wirt zur «Sonne» übertroffen, und 1758 sieht man ihn als Meister der Rebleutezunft. Als er im Alter von fast 78 Jahren starb, ließen seine Erben (10 Söhne) die Gastwirtschaft eingehen; doch blieb dem Hause der Name «Hirschen» erhalten.
