Obwohl Salomon Hirzel, der bald kränklich wurde, über genügend Geld verfügte, lebte er nie über seinen Verhältnissen und war nicht so verschwenderisch wie seine Söhne. Diese übernahmen jeweils die Verantwortung, wenn der Vater ins Feld ziehen musste. Als Salomon Hirzel längere Zeit krankheitsbedingt ans Bett gefesselt war, liessen seine Söhne hinter dem Schloss eine grosse Reitbahn errichten, die später vor das Holdertor bei der Stadt Winterthur verschoben wurde. Diese Investition kostete so viel Geld, dass General Hirzel seinen Söhnen voraussagte, sie würden eines Tages im Armenhaus enden. Als Salomon Hirzel 1755 starb, versiegte auch der Geldsegen aus Holland und die Mittel wurden knapper.
Das Schloss und die Herrschaft gingen an die drei Söhne über, die sich untereinander stritten. Schliesslich zahlte der mittlere Sohn Salomon Hirzel seine Brüder aus und übernahm die Herrschaft. Dieser verschuldete sich bald und verarmte. Darunter litt auch das Schloss, das immer mehr dem Verfall preisgegeben war. Kurz bevor er das Schloss abtreten musste, liess Hirzel die ehrwürdige Gerichtsstube vom Künstler Christoph Kuhn neu ausmalen. Die Bilder zeigten die «tollen Streiche» der Hirzel-Brüder. Mit Salomon Hirzel Junior endete auch die Zeit der Wülflinger Gerichtsherrschaft. 1767 ging das Schloss an den Winterthurer Schultheissen Johannes Sulzer über, der es restaurieren liess.