Um 1200 entstand an der Handels- und Verkehrsroute zwischen Winterthur und Konstanz ein Wohnturm, der als befestigter Adelssitz diente und ein Lehen des Hochstifts Konstanz war. Die ersten bekannten Verwalter waren Ministerialen, nämlich die Herren von Hegi. Ministeriale waren ursprünglich unfreie Dienstleute, die im Auftrag ihrer Herrschaften verschiedene Aufgaben übernahmen und durch treue Dienste in den Adelsstand aufsteigen konnten. So wurde Recko von Hegi im Jahr 1252 zum Ritter erhoben. Die Herren von Hegi dienten verschiedenen Herrschaften, darunter dem Bischof von Konstanz und den Grafen von Kyburg. Sie übten für diese verschiedene herrschaftliche Funktionen in der Region aus. Ihr Einfluss in der Region blieb jedoch bis ins 15. Jahrhundert vergleichsweise gering.
Der viergeschossige Wohnturm verfügt über einen quadratischen Grundriss von etwa 10 mal 10 Metern und ist 24.4 Meter hoch. Aus strategischen Gründen war der Zugang ursprünglich nur über eine steile Holztreppe im dritten Obergeschoss möglich. Im Innern befanden sich Wohnräume, eine Küche und die Ritterstube, während die unteren Geschosse als Vorrats- und Lagerräume dienten. Das vierte Geschoss bestand aus einem vorkragenden hölzernen Überbau, der vermutlich als Sommerwohnung genutzt wurde. Ob der Turm bereits von einem Wassergraben oder einer hölzernen Palisade umgeben war, ist nicht eindeutig belegt.
