Kirken er muligvis bygget oven på en tidligere gravhøj og ligger højt på skrænten ned til Tryggevælde ådal. Den blev bygget i den romanske periode dvs. 1080-1175 og hører til de ældste af kommunens kridtstenskirker.
I 1400 tallet foretages en vestforlængelse og overhvælving af skibet Omkring 1500 bygges våbenhuset. Senere er tårnet byget og kirkens mure forhøjet.
Et sakristi og et bredt kor med en smuk østgavl i renæssancestil afsluttes i 1590 kirkebyggeriet ikke alene i Valløby, men i hele kommunen.