Das Haus Steinberggasse 1 „vordere Rotfarb“ wurde 1559 anstelle eines Vorgängerbaus neu erstellt. Mit dem zunehmenden Verkehr wurde dieses Haus immer mehr ein Hindernis. Die Durchfahrt zur Technikumstrasse war 1900 erstellt worden und war ganz einfach zu schmal. Als die Druckerei Sailer mit damaligem Sitz an der Holdergasse 7 eine neue Druckerei bauen wollte, sah die Stadt Handlungsbedarf. Sie bot Sailer im Tausch das Haus Technikumstrasse 12 an, wo sich die Druckerei noch heute befindet. Ziel der Stadtväter war, die Häuser Steinberggasse 1 und 3 abzubrechen, die Durchfahrt zur Technikumstrasse zu verbreitern und dahinter einen Platz mit Brunnen zu schaffen. Die „Rotfarb“ war im Besitz der Stadt, Besitzer der Felsenburg war und ist Bruno Stefanini. Die beiden Hausbesitzer wurden sich nicht einig, womit (glücklicherweise! HB.) der Plan platzte.
So wurde nur die „Rotfarb“ abgebrochen und die Durchfahrt verbreitert. Zur Stabilisierung des Hauses Steinbergasse 3 musste an der Seitenfront eine Stützmauererstellt werden. Sie wurde lange Zeit zum schrecklichen Denkmal für die abgebrochene „Rotfarb“. Die Häuser 3 und 5 wurden von ihrem Besitzer Bruno Stefanini ihrem Schicksal überlassen, sodass sich ihr Zustand zusehends verschlechterte. Ein Neubauprojekt scheiterte 1994. Ein jahrelanger Streit mit Nachbarn und der Stadt, wie eine Sanierung erfolgen soll, hatte diese verhindert. Nach einem Baugesuch, das 2009 eingereicht wurde und den Abbruch und Ersatzbauten beinhaltete, stellt der Stadtrat die Häuser unter Schutz. Ein Abbruch ist nicht mehr möglich. Es brauchte schliesslich den Druck der Stadt –die Häuser waren inzwischen Einsturzsturz gefährdet. Ab 2012 begannen die Erneuerungsarbeiten. Die Felsenburg, Steinberggasse 3 wurde im 1764 als Ersatzbaute erstellt. Bauherr war der Schuhmacher Abraham Graf. Die nahezu quadratischen Fenster mit leicht profilierten Einfassungen in einer barocken und frühklassizistischen Fassade stammen auch aus dieser Zeit. Die Giebelfassade gegen Osten weist eine Bretterverschalung auf. Das Haus besitzt einen besonders schönen Dachstuhl, der von der Qualität des Zimmermannshandwerkes jener Zeit zeugt.
Gegen den Durchgang zur Technikumstrasse ziert heute eine wenig ästhetische Stützmauer das Haus. Sie musste 1960 nach dem Abbruch des Hauses Nr. 1, der „Rotfarb“ gebaut werden. Das schmale hohe Haus „Zum Erzberg“ an der Steinberggasse 5, 1718 durch eine Bauhandwerkerfamilie Hafner errichtet, weist im Innern wie auch im Äusseren noch eine alte Bausubstanz auf. Es zeigt ein Bild aus der kleinbürgerlichen Welt der Steinberggasse. Die Fassade ist im Gegensatz zum Nachbarhaus Felsenburg eine klassische auf die Spätgotik zurückgehende Fassade mit Reihenfenstern. Im ersten und zweiten Stockwerk befinden sich barocke Stuckdecken. Auszüge aus der Beurteilung der Schutzwürdigkeit und der Erhaltensfähigkeit Nur noch ein Drittel der Bauten in der Winterthurer Altstadt stammt aus der Zeit vor 1810. Nahezu die Hälfte wurde im 20. Jahrhundert neu gebaut, vornehmlich nach 1945. Ganze Viertel wurden damals abgebrochen, zum Teil auch hinter den bestehenden Fassaden. Soll die Altstadt nicht zu einer Kulisse verkommen, braucht es deshalb einen besonders sorgfältigen Umgang mit den wenigen noch bestehenden Bauten aus der Zeit vor 1810. Denn gerade sie machen mit ihrer handwerklichen Bauweise und ihrer kunsthandwerklichen Ausstattung den Charme und Charakter der Altstadt aus. Dazu gehören die unterschiedlich hohen Häuser, die schmalen Gassenfassaden, die manchmal etwas schiefen Fenster und Fassaden, die mit ihrer Patina Geschichte authentisch erlebbar werden lassen - so wie es die Bevölkerung Winterthurs schätzt.
Zu diesen wenigen noch erhaltenen historischen Häusern zählen auch die "Felsenburg" und der "Erzberg" an der Steinberggasse. Eine sinnvolle Renovation der beiden Häuser ist möglich. So wurde zum Beispiel beim Haus "Zur Tanne" an der Metzggasse 3 die Renovation eines Altstadthauses erfolgreich umgesetzt. Die Stadt selbst hat mit dem "Blumengarten" und dem "Tösserhaus" zwei Altstadthäuser am Kichplatz erfolgreich instand gesetzt. Alle diese Häuser befanden sich zuvor in einem vergleichbaren Zustand wie Steinberggasse 3 und 5.
