I 222 år var den gamle adelsslægt Lange og derefter slægten Kragh-Gersdorf ejere af godset. Omkring år 1600 ejede Kjærgård al jord og alle ejendomme i Vilslev, Darum og Hunderup sogne. Kjærgårds skæbne, Margrethe Rosenørns ældste søn, Frederick v.Gersdorf, solgte ud af skove, fenner og agerjord. I 1790 opgav han det hele, og godset gik i forfald. Kobbertaget blev solgt og erstattet med strå.
I 1868 blev ruinen overdraget til de omkring-liggende sogne, som gjorde Kjærgård til fattiggård. Det var den indtil 1940. I 1949 købte egnens befolkning Kjærgård tilbage, indrettede den til landbrugsskole, og som sådan fungerer den i dag.