De Vissersdijk, vóór1600 Gasthuissteeg, heette later Visstraat. De percelen waren achtererven van de Hoogstraat. Hier lagen schuren, stallen of werkplaatsen. In 1832 was dat voor een aantal nog steeds zo. Ten oosten van het gasthuis, door van Deventer getekend, waren nieuwe panden geplaatst. Daartoe was de straat, nu Schoolstraat, verlegd. De Gasthuissteeg liep dood tegen de wal tot rond 1700, de Loevesteinse Poort daar naar toe verhuisd werd. Het gebied ten zuidwesten van de bebouwing aan de Brug(poort)straat was agrarisch met voornamelijk hopkwekerij.