Karantænehuset er bygget i 1831, da en koleraepidemi truede sydfra. Skibe, som kom fra Østersøhavne, der var mistænkt for at være ramt af epidemien, blev sendt i karantæne i huset.
Det samme gjaldt for de lodser, der havde været i kontakt med skibe, som kom fra mistænkte havne.
Senere i århundredet blev huset tjenestebolig for tolderen i Dragør.
Dragør Kommune ejer bygningen, og den bruges i dag af to klubber - Dragør Strandjagtforening og Dragør Motorbådsklub.