Huset blev opført af en lokal godsejer, Kloppenborg Skrumsager, en meget loyal dansker, der boede i den tyske del af landet syd for Kongeåen.
Når han ønskede, at føle sig som "ægte" dansker, brugte han huset på Kongeåens nordside, hejste Dannebrog og nød at være på dansk jord lige nord for Kongeåen.
Huset Friheden er privat ejendom, og kan derfor alene betragtes fra asfaltvejen foran huset. Huset er udpeget som bevaringsværdigt.