Im Osten des Stiftsbezirks befindet sich das 1569/70 erbaute Karlstor. Es ist nach dem Mailänder Erzbischof Carlo Borromeo benannt. Dieser massgebende Vertreter der Gegenreformation in der Schweiz soll es als Erster durchschritten haben.
Von den ursprünglich elf Toren der Stadtmauer ist das Karlstor das einzige erhaltene.
