Der Obere Bogen wurde im 12. Jahrhundert als Teil der ursprünglichen Befestigungsanlage im Osten der Stadt erbaut. Vor der Befestigung der Vorstädte und bis zum Bau des Obertors 1340 war er das Haupttor im Osten der Stadt und lag auf einer Hauptverkehrsachse. Der gesamte Güterverkehr von Zürich in Richtung Osten führte über Winterthur und zwar vom Untertor über die Marktgasse zum Oberen Bogen und dann weiter über Frauenfeld und St. Gallen bis zum Bodensee. Neben dem Oberen Bogen gab es im Westen den Unteren Bogen, im Süden das Steigtor und im Norden das Schmditor. Die vier Tore verbanden die Stadt, die im 12. Jahrhundert den quadratischen Raum zwischen Neumarkt, Technikumsstrasse, Unteren Graben und Stadthausstrasse umfasste, mit der Aussenwelt. Der Obere und der Untere Bogen lagen im 12. Jahrhundert an den Stadtgräben. Sie wurden aus diesem Grund auch Tore am Graben oder Grabentore genannt. Vor den beiden Gräben im Osten und Westen der Stadt entstanden im 13. Jahrhundert neue Siedlungen. 1264 wird im Stadtrechtsprivileg erstmals eine östliche Vorstadt erwähnt. Die Neustadt, die an die Kernstadt anschloss, wurde im 13. Jahrhundert ebenfalls mit Wall und Graben befestigt. In einer zweiten Phase um 1300 oder im 14. Jahrhundert entstand dann um die Neustadt eine erste Stadtmauer und 1340 wurde das Obertor gebaut. Der Obere Bogen lag nun innerhalb der Stadtmauern und wurde in seiner Funktion als Stadttor durch das Obertor ersetzt.