I et gammelt dokument fra 1504 står der, at denne kirke er viet til Sct. Peter, men Pontoppidans Atlas fortæller, at kirken er viet til Sct. Oluf. Ingen af disse betegnelser bruges dog om Ollerup Kirke i dag. Der er ingen spor af romansk indflydelse i kirkebygningen, så den fremtræder i dag som en sengotisk bygning med et tårn i den vestlige ende. Byggematerialet har været kampesten og tegl. På kirkens sydside er der et våbenhus. Ved en hovedreparation i 1869-70 blev kirkens ydermure dækket af en grå cementrapning, der blev fjernet i 1977, hvor kirken blev kalket hvid. I kirkerummet er der 5 hvælvinger.