Husene i den gamle bydel er sammenbygget i rækker, der går øst-vest. Mod syd ligger husenes haver, og i det sydlige skel ligger det næste hus - som også har have mod syd.
Det mønster giver gader, der går øst-vest, med en række plankeværker på den nordlige side af gaden og husrækker mod syd, mens de stræder, der går nord-syd og dermed gennemskærer gaderne, prydes af huse, der ligger gavl ved gavl forbundet af plankeværker.
Den meget koncentrerede bebyggelse skyldes, at jord var en mangelvare på den smalle kyststrækning, der udgjorde Dragør. De omgivende arealer tilhørte gårdmændene på byens to gårde, og de sad hårdt på jorden.
Især i perioden 1730-1760 kæmpede dragørerne en kamp for at skaffe sig et lille stykke jord til at bygge hus på.