Ifølge et sagn skulle to kæmper samtidig have bygget Fole og Gram Kirke. Og da kæmpen i Fole færdiggjorde sit byggeri først, blev kæmpen i Gram så rasende, at denne kastede en sten efter kirken i Fole. Desværre for kæmpen, men heldigt for kirken ramte stenen ved siden af og landede udenfor kirkediget.
Fole Kirke er en ret stor kirke, der består af romansk kor (med indvendig apsis) og skib, samt et tårn fra 1852, som indeholder rester af en gotisk forgænger.
Kirkens indre er præget af det forholdsvis lange kirkeskib, som kun får lys gennem de nyere sydvinduer. Desuden er koret ret specielt, idet korets østlige del, hvor alteret står, er dækket af et tøndehvælv, mens den vestlige del har fladt loft. Tårnets underdel fungerer som våbenhus. Altertavlen er fra ca. 1620 og døbefonten fra ca. 1575.