Allerede før kirkens bygning, omkring 1170, har der sandsynligvis været et alter i vejsiden, hvor de vejfarende kunne standse op og bede deres bøn.
Allinggårds ejer Jean A. Fisher lod i 1788 foretage en større ombygning og istandsættelse af kirken med opførelse af et tårn med pyramideformet tag, som øverst har en vindfløj, hvor der er indhugget et F. 1788.
Fisherslægten fra Allinggård er ikke gravsat i Svostrup. Derimod er familien Vendelbo, som i flere slægtled ejede Grauballegård gravsat under kirkegulvet i Svostrup kirke.Begravelsen skal have indeholdt 12 kister, hvoraf nogle stadig findes i en muret hvælving under koret.
Henrik Vendelbo og hustru skænkede alterkalk og disk til kirken med indgraveringen: For deres begravelse er denne kalk og disk skænket til Svostup kirke anno 1693.