Seit 1169 sind die «Herren von Rossberg» urkundlich belegt. Sie unterhielten auf dem Rossberg bei Töss ein Gehöft. Bereits im 12. oder spätestens im 13. Jahrhundert veranlassten die Kyburger den Bau einer Wegkapelle. Diese befand sich direkt entlang der alten Landstrasse von Winterthur nach Pfäffikon. 1241 erwähnten schriftliche Quellen die Kapelle auf dem Rossberg erstmals. Damals gehörte sie zur Pfarrei Illnau. Zwischen 1266 und 1525 gehörte die Kapelle hauptsächlich zum Dominikanerinnenkloster Töss, mit kurzzeitigen Wechseln zu Rudolf von Habsburg und dem Kloster Wettingen.