„Breite“ und „Brühl“ gehörten zum Salland, dem Herrengut in einer alemannischen Siedlung. Die „Breite“ war das Ackerland, der „Brühl“ das Wiesland. Am „Brühl“ entstanden seit 1770 die ersten Landhäuser ausserhalb der Stadt, das „obere“, mittlere“ und „untere Brühl“. Auch das Brühlgut hatte als einfaches Landgut bereits 1793 bestanden. Im Mai 1823 kaufte Franz Thellung das Landgut "Im Brühl" von Heinrich Escher-Zollikofer (1776-1853) Vater von Alfred Escher 1819-1882, der es nur ein Jahr zuvor von Johannes Geilinger erworben hatte. 1858 erwarb Heinrich Rieter-Fenner, Mitbesitzer, der kurz zuvor im alten Kloster Töss stark erweiterten Maschinenfabrik, das Brühlgut und liess einen Neubau mit Ökonomiegebäude und Gärtnerhaus erstellen.
1979-1982 wurde das Invalidenzentrum erstellt. Als zweite Etappe erstellte die GAIWO (Genossenschaft für Alters- und Invalidenwohnungen) 50 Wohnungen im Baurecht. Im August 1984 wurden die letzten bestehenden Bauten der ehemaligen Villa zum Brühlgut abgebrochen. Sie mussten einem neuen Alterszentrum weichen. Die neuzeitlichen Sozialbauten im Brühlgut finden mit dem Bezug des Altersheims 1986 ihren Abschluss und sind wundervoll in die bestehenden Parkanlagen eingefügt. Eine Areal-Übersicht befindet sich in der Bilder-Galerie.
Die dazu gehörenden Parkanlagen legte der berühmte Gartenarchitekt Conrad Löwe (1819–1870) an. Löwe stammte aus Württemberg und war seit 1851 Bürger von Elsau und in Winterthur und Umgebung tätig. Einige der schönsten Winterthurer Garten- und Parkanlagen gehen auf ihn zurück. Beispiele sind die grossen Parkanlagen für die Villa Bühl, Bühler Villa an der Lindstrasse und der Park Villa Rychenberg. Im Jahre 1920 konnte die Stadt die damalige Villa „zum Brühlgut“ mit den Nebengebäuden und dem dazugehörigen Land käuflich. Das Gut umfasste 26'000 m2 mit fünf Gebäuden. Nach Umbauten der Gebäulichkeiten konnte Ende 1921 das zweite Altersheim der Stadt Winterthur im Brühlgutpark in Betrieb genommen werden.