Kirkens beliggenhed ved Stevns ådal gjorde den sårbar overfor samtidens sørøveri. Dengang kunne man efter sigende sejle til Smerup ad åerne, som var mere vandfyldte end i dag.
Derfor er kirken befæstet, og blev brugt af indbyggerne til forsvar. I murene er der hoveder af kridt, som efter sigende skulle skræmme angriberne.
Det fortælles at byens indbyggere lå på lur bag kirkegårdsmuren og hylede af fjenden. Denne hylen, kombineret med hovederne af kridt, var så skrækindjagende, at et sørøverskib engang vendte så hurtigt, at det kæntrede og alle druknede.
Kirken er i 1400-og 1500-tallet kraftigt ombygget og udvidet i gotisk stil.
Smerup Kirke består af et romansk skib, der er forlænget i sidste halvdel af 1300-tallet mod vest. Tårnet er endnu yngre - fra sidste halvdel af 1400-tallet.
Koret er fornyet efter ca. 1500. Sakristiet er også fra denne senmiddelalderlige periode, det samme gælder våbenhuset, som dog er delvist fornyet i midten af 1800-tallet - samtidig med indsættelsen af vinduerne i støbejern.
Hele kirken blev istandsat i 1938.