Der har været lodseri i Dragør siden 1684 - i 1820'erne besluttede man at bygge et hus på havnen, så lodserne kunne holde udkig i tørvejr.
Huset blev bygget ved siden af smedjen og blev forsynet med en kvist, hvorfra der var godt udsyn. Senere opførtes et egentligt udkigstårn.
Da lodseriet voksede gennem 1800-tallet, blev bygningen udvidet til sin nuværende størrelse. Det oprindelige tårn blev til den tagrytter, som endnu ses i dag på bygningen.
Først i 1912 fik man det store lodstårn - det blev bygget, fordi Dragør Fort, som blev anlagt i 1910, tog det frie udsyn mod syd.
Lodshuset er den ældste bygning i Danmark af sin slags. Både hus og lodstårn blev fredet i 1987 - huset har fungeret som Danmarks Lodsmuseum siden 2011 og er en vigtig hjørnesten i dansk lodshistorie og historien om Dragørs maritime kulturarv.