Kapellet rejstes ifølge overleveringen af sejrherren, kong Valdemar den Store, der hvor den faldne kong Svend blev begravet efter slaget på Grathe Hede den 23. oktober 1157. Grathe Kapel forfaldt efter reformationen; men nogle af stenene fra ruinen er indmuret i den nuværende kirke. Den markante sten over døren mellem skib og tårn bærer indskriften:
Kirken er åben for besøg fra solopgang til solnedgang.