In 1600 liepen de meeste percelen van de Hoogstraat door tot aan de Vissersdijk, toen Gasthuissteeg of Visstraat genoemd. In 1832 was dat voor een aantal nog steeds zo. Het gasthuis, door van Deventer getekend, was na de brand vervangen door panden ernaast aan de oostzijde. Daartoe was de straat de breedte van een perceel opgeschoven. Op die strook werd aan de Hoogstraat een militair magazijn (de hoofdwacht) gebouwd. Ten zuiden daarvan een school en daarna het gasthuis waarvan een deel als kerk werd ingericht (zolang de Martinuskerk nog in restauratie was; die was gereed in 1621).