Salomon van der Paauw situeert de poort aan de westzijde van de Cellebroersgracht (nu Kaiserstraat) bij de Zegersteeg in Wijk 1 naast nr. 457. De ingang lag tussen de nrs. 448 en 457, na 1871 Kaiserstraat 23.
De poortbebouwing bevond zich parallel met- en achter de Zegersteeg.
De Speelmanspoort, bestaande uit acht huisjes, is in 1910 afgebroken om plaats te maken voor een fabrieksgebouw van de fa. Beuth. Inmiddels is op deze plek het universitaire centrum Plexus gevestigd.