1947 verkaufte die Witwe Fanny Cornelia Sulzer-Bühler den Adlergarten samt Haupthaus an die Stadt Winterthur mit der Auflage, es solle dort ein Altersheim entstehen. 1953 begannen die Umbauarbeiten zu einem Altersheim unter dem Architekten Eugen Schmid. 1954 konnte das zum Altersheim umfunktionierte Haus bezogen werden. Das Alterszentrum Adlergarten war nach dem Neumarkt und dem Brühlgut das dritte städtische Altersheim.
Schon bald genügte die Villa den Ansprüchen an ein Alterszentrum nicht mehr. Architekt Emil Bosshard erhielt den Auftrag, ein Neubauprojekt auszuarbeiten, das einerseits die historische Parkanlage schont und gleichzeitig aber auch Platz für 130 bis 140 Pflegebedürftige schafft. Als Neubauten entstanden zwischen 1964 und 1967 das siebengeschossige Krankenhaus und ein Personalhaus, während die alten Gebäude weiterhin genutzt wurden. Die allgemeine Abteilung verfügte über Zimmer von einem bis vier Betten. Zusätzlich wurde eine Privatabteilung mit 18 Einzelzimmern eingerichtet. Die dadurch geschaffenen Kapazitäten waren jedoch nicht ausreichend. Von 1972 bis 1976 wurde die Anlage deswegen für 21 Millionen Franken stark erweitert. Das Bauvolumen verdoppelte sich dadurch. Es entstanden unter anderem eine Pflegerinnenschule (bis 2005 als solche in Betrieb) samt Wohnhochaus und ein neues Bettenhaus mit zusätzlichen 100 Plätzen. Auch die Küche wurde grundlegend erneuert und erweitert. Ebenfalls wurde ein Festsaal mit Platz für 220 Personen realisiert, der für verschiedene Veranstaltungsformate genutzt werden kann.
Zwischen 2013 und 2015 fanden durch das Architektenbüro Itten+Brechbühl AG umfangreiche Sanierungsarbeiten statt. Die Anlage wurde den neuen pflegerischen und ökologischen Bedürfnissen angepasst. So wurde nicht nur die Bettenzahl pro Zimmer auf maximal zwei gesenkt, sondern auch der Minergie-Standard für Umbauten erreicht. Insgesamt wurde viel Wert daraufgelegt, die Anlage wohnlicher zu gestalten. Um den Pflegebetrieb während den Sanierungsmassnahmen aufrecht zu erhalten, wurde gleichzeitig ein Provisorium mit einer Kapazität von 150 Betten errichtet. Dieses sollte nicht nur dem Adlergarten, sondern auch anderen Alterszentren während Umbauarbeiten zur Verfügung stehen. Aus denkmalpflegerischen Gründen gilt die Baubewilligung aber nur bis 2022. Danach muss das Provisorium wieder abgebaut werden. Längerfristig soll auf dem Areal ein weiterer Neubau entstehen.