Proviantgården fra slutningen af 1500-tallet er den ældste del af Andresens Købmandsgård.
Endnu i 1800-tallet var den gamle havn byens livsnerve, og fra denne periode stammer det gule pakhus på Paludan Müllers Plads.
Det har tidligere tilhørt byens store handelsfirma, Elias B. Muus A/S.