Salomon van der Paauw situeert de poort aan de zuidzijde van de Doelenachtergracht bij de Catrijneveststeeg, thans in de Academietuin. Zoals bekend lag de (niet meer bestaande) Catrijneveststeeg in het verlengde van de Nonnensteeg en liep zij door naar de Witte Singel. Toch is Van der Paauw wat slordig, want op een bewaard gebleven plattegrond van het buurtje blijkt dat de Keizerspoort weliswaar in de Hortus ligt, maar dan tegenover het gedeelte tussen de Kolfmaker- en Nonnensteeg - precies tegenover Vijfde Binnenvestgracht 1. Het buurtje en daarmee de Keizerspoort is in 1816 gesloopt om uitbreiding van de Hortus mogelijk te maken.
Hieronder de plattegrond van het buurtje tussen Vijfde Binnenvestgracht en Witte Singel. De rode cirkel geeft de locatie van de Keizerspoort aan