Der Untere Bogen wurde im 12. Jahrhundert als Teil der ursprünglichen Befestigungsanlage im Westen der Stadt gebaut. Vor der Befestigung der Vorstädte und bis zum Bau des Obertors 1340 war er nicht nur das Haupttor in Richtung Westen, sondern auch die eigentliche Eintrittspforte für den Verkehr, der auf der Hauptverkehrsachse von Zürich in Richtung Bodensee floss. Neben dem Unteren Bogen gab es den Oberen Bogen im Osten, das Steigtor im Süden und das Schmidtor im Norden. Die vier Tore verbanden die Stadt, die im 12. Jahrhundert den quadratischen Raum zwischen Neumarkt, Technikumsstrasse, Unteren Graben und Stadthausstrasse umfasste, mit der Aussenwelt. Der Obere und der Untere Bogen lagen im 12. Jahrhundert an den Stadtgräben. Deshalb wurden sie auch Tore am Graben oder Grabentore genannt. Die Stadt wuchs im Laufe der Zeit im Osten und Westen vor den Stadttoren weiter. Vor dem Unteren Bogen entstanden spätestens ab dem 13. Jahrhundert entlang der heutigen Untertorgasse Häuser. Einträge in einem Habsburger Urbar aus den Anfängen des 14. Jahrhunderts geben zudem Hinweise darauf, dass die Untere Vorstadt bäuerlich ausgerichtet war und dass das Untertorquartier am Ende des 13. Jahrhunderts mit einem Graben befestigt war. Nach dem Bau des Untertors 1340 lag der Untere Bogen dann innerhalb der Stadtmauern und wurde in seiner Funktion als Stadttor durch das Untertor ersetzt.