Den Kampmannske Gaard blev rejst i 1781 af Hans Wulff Øllgaard. Han havde arvet mange penge efter sin far, Rasmus Øllgaard, der havde tjent enorme summer som storkøbmand. Hans W. Øllgaard gik imidlertid fallit i 1786, og gården havde i en årrække forskellige ejere, blandt dem købmand Hack Kampmann, der fra 1797 var ejendommens indehaver i 10 år. I dette tidsrum blev der foretaget store ombygninger, og huset fik sit nuværende udseende, hvorfor det kom til at bære det Kampmannske navn. I 1842 overtog A. K. Bastrup ejendommen og drev herfra en stor købmandshandel, der også omfattede et brændevinsbrænderi. I 1904 solgte Bastrups enke gården til Mads Erichsen.