Gendarmstien har navn efter de gamle grænsegendarmer, der i en årrække bevogtede landegrænsen og kontrollerede skibsfarten langs kysten. Patruljeringen foregik til fods, og hver enkelt gendarm havde et bestemt stykke af grænsen at passe. Nogle steder var der i forvejen stier og veje, som gendarmen kunne benytte på sin rute. Andre steder blev der anlagt nye stier hen over privat jord. På den måde blev Gendarmstien skabt.
Grænsegendarmerne patruljerede langs den nuværende grænse i tiden fra Genforeningen i 1920 og frem til 1958. Herefter overgik opgaven til politiet.
Mange steder gik Gendarmstien herefter i "glemmebogen", men siden 1988 har Sønderjyllands Amt sammen med staten og de berørte kommuner arbejdet på at afmærke det gamle stiforløb og gøre det tilgængeligt for vandrere.
Projektet blev afsluttet i 1996, og det er nu muligt at følge den afmærkede sti fra Padborg til Skovby - en strækning på ca. 84 km.
Naturen man skal igennem er meget afvekslende med skov, strand, vand og langs marker samt en meget afvekslende tur i det historiske, alt dette og kortmateriale kan fås i en folder.