Huset blev opført af en lokal storbonde, H.D. Kloppenborg Skrumsager, der var en meget loyal dansker, der boede i den tyske del af landet syd for Kongeåen. Hans gård lå i Københoved, få km syd for Kongeåen og Friheden.
Når han ønskede, at føle sig som "ægte" dansker, brugte han huset på Kongeåens nordside, hejste her Dannebrog på flagstangen og nød at være på dansk jord lige nord for Kongeåen. PÅ den danske side kunne han i fred og ro markere sit sindelag uden at tyskerne kom efter ham. De tyske grænsevagter patruljerede langs Kongeåen, og de kunne bare stå at se på.
Husets størrelse står i kontrast til den historiske betydning. Huset blev nemlig også brugt som tilflugtssted for de sønderjyder, der flygtede over landegrænsen ved Kongeåen, og var et markant sted, som de mange sønderjyske gæster til møderne i Skibelund Krat skulle forbi. Arkitekturen i sig selv i materialevalg og pyntedetaljer - f.eks. de små malede dannebrogsflag over døren bidrog til at markere modstanden mod det preussiske styre. Murene er af kampesten, døre og vinduer rød- og hvidmalede og så frontonen over hoveddøren - det trekantede felt, med dannebrogsflag og H.D. Kloppenborg og hustrus navnetræk.
Netop dette sted ved den historiske Kongeå udgør en stærk kulturhistorisk fortælling. Landskabet dannede grænsen mellem to lande, en borger bygger et hus med markante symboler. Fra 1200-tallet til 1850 var Kongeåen toldgrænse mellem Danmark og hertugdømmet Slesvig, mens Kongeåen fra 1864-1920 var landegrænse mellem nationerne Danmark og Tyskland.
Huset Friheden er privat ejendom, og kan derfor alene betragtes fra asfaltvejen foran huset. Huset er udpeget som en af de bevaringsværdige bygninger i Vejen Kommune.