Pakhuset blev opført i 1845 for Dragør Lodseri, der manglede et sted til opbevaring af deres materiel.
Bygningen har også været brugt til opbevaring af skibsmaster.
I 1934 blev huset overtaget af Dragør Kommune, som også benyttede det til pakhus.
Havnepakhuset blev doneret til Dragør Museumsforening af skibsreder Per Henriksen i 1999, og huset gennemgik en omgribende restaurering.
Siden har bygningen været brugt til cafe, restaurant, koncerter og særudstillinger, og rummer nu Dragør Besøgscenter.