Der Adlergarten wurde 1813 vom Textilunternehmer Johann Jakob Sulzer auf einer ehemaligen Landwirtschafts- und Püntenparzelle angelegt. Er befindet sich im Mattenbachquartier in der Nähe der Villa Flora. Das Land war schon seit 1649 im Besitz der Familie Sulzer. In unmittelbarer Nähe liess er zudem eine kleine Rotfärberei errichten. Da es im 19. Jahrhundert verboten war, ausserhalb der Stadtmauern zu wohnen, verzichtete er auf den Bau einer Villa und erstellte stattdessen ein Fabrikgebäude für seine Färberei. Den Namen «Adlergarten» lehnte er an seine damalige Residenz am Obertor 17 an, die «zum Adlerhof» hiess. Vor der Umbenennung hiess das Gut «Zum Einfang».
Für die Gestaltung seines Gartens liess sich Johann Jakob Sulzer vermutlich vom französischen Arzt und Botaniker Joseph Philippe de Clairville inspirieren und beraten. Dieser lebte seit 1785 in der Villa «im Bühl» und pflegte dort eine eigene Parkanlage, die er vor allem mit exotischen Pflanzen bestückt hatte. Auch Sulzer liess in seinem Garten eine Reihe von in Winterthur seltenen Bäumen pflanzen, wie beispielsweise Tulpenbäume und Schwarzpappeln, die er aus Amerika importiere. 1820 liess er einen Gartenpavillon im italienischen Stil errichten, den er fortan mit seiner Familie als Sommerresidenz nutzte. 1833 ging die Textilfärberei Sulzers Konkurs und der Adlergarten wurde darauf in einer öffentlichen Auktion versteigert. Den Zuschlag erhielt der Kaufmann David Emanuel Haggenmacher. Er riss die Rotfärberei ab und gewann dadurch Baumaterial für den 1835 erfolgten Aufbau des «Hôtel de la Fortuna», des neuen Haupthauses der Anlage. In den folgenden Jahren wurden auch ein Ökonomiegebäude und Stallungen errichtet sowie ein Waschhaus mit Holzschopf. Es handelte sich um eines der ersten Hotels in der Schweiz, das ausserhalb von Stadtmauern errichtet wurde. Haggenmacher spekulierte auf viele ausländische Gäste, die durch den Status von Winterthur als wichtige Baumwollindustriestadt angezogen werden sollten. Doch der Gästestrom blieb aus und Haggenmacher ging 1839 Konkurs.
Der Adlergarten wurde von den Gläubigern Rapp-Wick und Konsorten aus Basel übernommen. Da sie keinen Käufer fanden, vermieteten sie die Anlage. Zuerst diente die Residenz als Hauptsitz des 1841 gegründeten Verlagsgeschäfts «Literarisches Comptoir in Zürich und Winterthur». Im gleichen Jahr wurde das Eidgenössische Sängerfest im Adlergarten ausgetragen. 1846 verlegte die Firma ihren Hauptsitz allerdings nach Leipzig. Daraufhin gelang es nicht mehr, einen neuen Dauermieter zu finden, und so wurde die Liegenschaft in den Sommermonaten jeweils vermietet. Später mietete sich noch ein Töchternpensionat ein. 1850 kaufte Heinrich Sulzer-Graf das Gut günstig von den einstigen Gläubigern ab und richtete im Erdgeschoss des Hauses eine Jacquardweberei ein, während das zweite Obergeschoss bis weiterhin an das Töchternpensionat vermietet wurde. Schon ein Jahr später ging auch Sulzer-Graf Konkurs und der Adlergarten ging an seinen Schwager Salomon Sulzer-Sulzer. Dieser nutzte das Gebäude als Wohnsitz für seine Familie. Nach dem Tod von Sulzer und seiner Ehefrau ging der Adlergarten 1879 an ihre vier Kinder über. Dem Töchternpensionat wurde 1884 gekündigt. Verschiedene Familienmitglieder mieteten den Adlergarten und zeitweise auch andere bekannte Persönlichkeiten, so der Schriftsteller und «Landbote»-Chefredaktor Johannes Scherr. Um 1900 liess August Sulzer die Villa Adlergarten durch die Architekten Ernst Jung und Otto Bridler in ein alleiniges Wohnhaus umbauen. Er lebte bis zu seinem Tod 1904 zusammen mit seiner Ehefrau Fanny Cornelia Sulzer-Bühler und seinen Kindern im Haus.