Navnet Kjeldgård er afledt af Kildegård efter en helligkilde, som befandt sig ved gården. Den eksisterede i hvert fald i 1500 -tallet, men hovedbygningen er opført i slutningen af 1700-tallet med sidefløje i bindingsværk. Til Kjeldgård knytter der sig en historie om en ung kvinde, der ved midnatstide besøger det såkaldte jomfrutræ i parken. Kvinden kommer med et dødt barn i armene, og hun løber hen til træet, pakker barnet ud af et tæppe og løfter det op, inden hun lader det falde ned i et hul i træet. Hvem kvinden og barnet var, vides ikke.