De poort wordt in het Huisnommerboek 1871 pas voor het eerst genoemd. Volgens het Bonboek Hogewoerd fol. 258vso-263vso bevond zich aan de oostzijde van de Vrouwensteeg (de oude naam van de Nieuwe Brugsteeg) geen poort, dus moet worden aangenomen dat de Elisabethspoort in de tweede helft van de 19e eeuw is ontstaan.
Bij raadsbesluit zijn de vier huisjes op 12-02-1923 onbewoonbaar verklaard. In 1927 verzoekt de eigenaar G.H. Holm aan B.& W. om de onbewoonbaarverklaring in te trekken en hem te compenseren voor gederfde huurinkomsten. Kennelijk worden woningen daarna ontruimd maar nog niet gesloopt, want in 1931 wordt een vergunning aangevraagd voor de vestiging van een palingrokerij aldaar.