Nachdem man den Stadtgraben vor dem Obertor aufgefüllt hatte, fasste die Gemeindeversammlung auf Anraten des Stadtrates 1864 den Beschluss das Obertor abzureissen. Zuvor waren Verhandlungen mit den beiden Anstössern links und rechts des Tors geführt worden. Herr Schnitzler, der Eigentümer des angebauten Teils beim "Wildenmann" zeigte sich 1863 bereit diesen für 6500.- Franken an die Stadt abzutreten. Frau Sulzer-Reif vom Gasthaus Zum Schwert, die Nachbarin auf der Nordseite des Obertors, hingegen stellt laut Protokoll unannehmbare Bedingungen, so dass der Stadtrat die Diskussion um den Abriss der Tore vertagen musste. Stadtbaumeister Wilhelm Bareiss bemängelte derweil, dass die Tore eine Zirde der Stadt seien und ein Abriss mit 20'000 Franken die Stadt teuer zu stehen komme.
Zudem stellte das Obertor kein bedeutendes Verkehrshindernis dar. Nachdem Private 5'000 Franken für den Abriss gesammelt und der Stadt zur Verfügung gestellt hatten, gab der Stadtrat unter dem Druck der öffentlichen Meinung nach und empfahl dem Gemeinderat, dem Abbruch des Obertors zuzustimmen.
Am 23. März 1864 schloss der Stadtrat mit Baumeister Schnitzler einen Vertrag ab. Er sollte das Obertor abbrechen und die Südseite entlang der Baulinie ausbauen bzw. die Ecke abschliessen. Mit Frau Sulzer-Reif kam hingegen kein Vertrag zustande, da sie nicht bereit war, ihren Teil abzugeben. Die Stadt beauftragte Schnitzler, die Teile des Obertors, die an das Gebäude von Sulzer-Reif angebaut waren, stehen zu lassen. Die Mauerruine wurde erst 1895 anlässlich des Eidgenössischen Schützenfestes abgetragen.