Måske er Højer Kirke den første og ældste kirke i Højer Herred.
Den ældste del af kirken stammer nok fra tiden omkring år 1100. Oprindelig bestod kirken af skib, kor og apsis. Senere blev apsis og dele af det oprindelige kor fjernet, og sandsynligvis blev korsarmene, tårnet og våbenhuset tilføjet i løbet af 1400-tallet.
Den sidste udvidelse fik kirken i 1748 ved tilbygningen af sakristiet, det tidligere skriftehus..