Die Geschichte der Gebäulichkeiten und seinem weiten Umfeld beginnt bereits 1788 als sich Philippe de Clairville, 1742-1830, Arzt und Botaniker hier niederliess. Nebst einem Wohnhaus erstellte er einen Botanischen Garten, in dem er Akklimatisationsversuche für fremde Pflanzen machte. Die Übersiedlung des Franzosen vom Wallis nach Winterthur kam wohl durch Vermittlung von Johann Sebastian von Clais zu Stande. Von diesen Bauten sind heute keine Spuren mehr vorhanden. 1850 baute der Textilkaufmann Friedrich Imhoof-Hotze (1807-1893) ein neues Landhaus auf dem Büel durch den Architekten Johann Jakob Breitinger (1814–1880). Imhoof-Hotze ist mit dem Baumwollhandel gross und reich geworden. Er trat auch als Mäzen auf.
So hat er zum Beispiel die grossartige Aussentreppe vom Stadthaus gespendet. Er unterstützte auch immer wieder darstellende Künstler. Durch mehrere Zukäufe erweiterte er den heute noch sehr gut erhaltenen und weitläufigen Park. Der Garten wurde angelegt und gestaltet durch die damals berühmten Gartenarchitekten Johann Alexius Gillemann und dem renommierten Gartenarchitekten Conrad Löwe (1819 – 1870). Die grosse, nach englischem Vorbild gestaltete Parkanlage enthält noch heute einige Elemente von damals. Es sind dies verschlungenen Gartenwege den ganzen Hang hinauf bis zu einem schönen Waldstück. Es sind das auch der luftige Pavillon und der Weiher in Hausnähe. Der Baum und Sträucheranteil ist heute sehr hoch, vielleicht fast zu hoch, um die Parkanlage als ganzes zu erfassen.
Auch der Weitblick zum gegenüberliegenden Lind- und Goldenberg und auf die Altstadt ist im Sommer durch den prächtigen Baumbestand fast ganz verdeckt. Nach dem Tode von Imhoof-Hotze liess seine Enkelin Lucie Sulzer-Imhoof ((1864-1944), einer Tochter des berühmten Winterthurer Numismatikers Friedrich Imhoof-Blumer (1838-1920) und Gattin vom Johann Jakob Sulzer (1855-1922, Förderer des Dieselmotors) das Haus durch die Architekten Jung und Bridler umfassend umbauen und erweitern. Die Repräsentationsräume im Erdgeschoss erhielten eine aufwändige Holzausstattung im Neurenaissancestil. Was damals als Statussymbol für notwendig erachtet wurde, wirkt heute eher schwerfällig und überladen.
1894 zog die Familie Sulzer-Imhoof vom Adlergarten in die Villa Bühl. Die Industriestadt Winterthur reagierte im Bereich der Kinder- und Jugendfürsorge flexibel und pragmatisch auf wirtschaftliche Entwicklungen. Exemplarisch zeigt sich dies beim Kinderheim Büel, das 1947 für Notfälle und als Durchgangsheim für Kleinkinder in Betrieb genommen wurde. Schon 1945 hatte der Stadtrat den Bau eines neuen Kinderheims im Zentrum der Stadt beschlossen, kaufte dann aber stattdessen die Villa Büel und trat an den Verein „Freie Hilfe“ mit dem Wunsch heran, eine bestehende Versorgungslücke für Kleinkinder mit Eltern in kurzfristigen Notsituationen zu schliessen.
Das Waisenhaus nahm damals Kinder erst ab dem Kindergartenalter auf und war auf langfristige Aufenthalte ausgerichtet. Die "Freie Hilfe“ war aus der freiwilligen Armenpflege für Nicht-Ortsbürger hervorgegangen. Bereits seit 1920 bestand als Vorgängereinrichtung ein provisorisches Kinderheim an der Langgasse 65, das Kinder von sogenannten Passanten aufnahm, Eltern, die nicht in Winterthur heimatberechtigt waren. Das Waisenhaus war damals ausschliesslich für Kinder von Eltern mit Bürgerort Winterthur bestimmt. Nach dem Kauf der Villa wurde das neue Kinderheim Büel von 1947 bis 1984 durch die Freie Hilfe mit Subventionen der Stadt Winterthur betrieben. Nebst Wohnungen ist seit 1992 die „Gesamtschule Villa Büel“ dort untergebracht. Die Schule ist eine private Primarschule 1. – 6. Klasse. Es wird nach dem offiziellen Lehrplan vorgegangen. 30 Kinder werden unterrichtet. Beim Schulgeld von zirka Fr. 1600.00/Monat sind Schulmaterial und Mittagessen inbegriffen. Die Pädagogische Hochschule Zürich hat die Schule Büel 2009 als innovatives Schulprojekt ausgezeichnet. Das majestätische Haus, versteckt hinter einem Wäldchen wurde in den Jahren 2015/2016 innen und aussen prachtvoll renoviert. Insbesondere die Wohnungen in den oberen Stockwerken wurden neu konzipiert und eingeteilt. Die Stadt Winterthur hat 3,7 Millionen Franken investiert und prognostiziert eine bessere Rendite.
