Das Wohlfahrtshaus der SLM wurde in alten Dokumenten auch das „Arbeiterkasino“ genannt. Es wurde am 3. Mai 1902 eingeweiht. Das Architekturbüro Jung & Bridler hatte für 172'000 Franken ein Gebäude mit einem Essraum für 300 Personen, einer Küche, einer Bibliothek, einem Lesezimmer und einer Abwartwohnung erstellt. Im Untergeschoss waren 50 Duschen und drei Wannenbäder vorhanden. Sie waren zum täglichen Gebrauch nach Feierabend gedacht. Zum Duschen musste man 10 Rappen und zum Baden 30 Rappen bezahlen. Handtuch und Seife waren inbegriffen. Für 30 Rappen konnten auch Nichtwerkangehörige die Duschen benützen.
Im grossen Esssaal konnte im Sommer zu sehr günstigen Preisen Bier, Wurst, Brot, Landjäger und Brause eingenommen werden. Im Winter gab es zusätzlich noch Suppe zu 5 Rappen je Teller. Im Winterhalbjahr gastierte das Stadtorchester Winterthur zweimal im Monat in diesem Haus. Der Konzertbesuch war gratis. Nach dem Bau der Sulzer-Kantine am Brühleck (Anton-Graff-Haus), die Einweihung fand 2.10.1971, wurde der SLM-eigene Verpflegungsbetrieb eingestellt. Die Lokianerinnen und Lokianer mussten sich im Restaurant der inzwischen Mutterfirma gewordenen Sulzer verpflegen.
Das freigewordene Wohlfahrtshaus diente anschliessend dem Arbeitgeberverband schweizerischer Maschinen- und Metallindustrieller (ASM) als Werkmeisterschule. 1984 verliessen diese das Haus und zogen in das vis-a-vis erstellte eigene ASM-Gebäude um. Ab 1986 mietete die Stadt Winterthur das altehrwürdige Haus und 1994 kaufte sie es. Es wird als Schulhaus genutzt. Das Leitbild: Die Brühlberg Schule will ein Ort sein, wo Kinder gerne lernen und leben. Es wird in altersgemischten Gruppen unterrichten und ist eine freiwillige Tagesschule.
