Draaby betyder Dragsby, altså byen ved draget. Nemlig byen ved den smalle landstrækning mellem hav og hav. I dette tilfælde mellem Kattegat og Ebeltoft Vig. Men dette drag, denne smalle landstrækning, har tidligere været meget smallere end i dag. Draaby har haft Kattegat adskilligt tættere inde på livet. I den hedenske og første kristne tid og i flere århundreder derefter har Draaby haft direkte sejlforbindelse til Kattegat.
Den første Dråby Kirke blev opført i munkesten og stod fra omkring 1200 til 1400. Murværk og gamgle fundamenter blev fundet under kirkens restaurering 1967-1971.
Fra begyndelsen af 1400-tallet og de efterfølgende 150 år, skabte ejerne af det nærliggende gods, samt adelsfamilierne Rosenkrantz og Gøye, med store om- og udbygninger mere eller mindre den kirke, som man ser i dag.
I 1720 blev kirkerummet indrettet med nyt inventar i barokkens stilart.
Det kamtakkede styltetårn er opført omkring år 1730. På tårnets vestside ses årstallet 1739 samt initialerne S A B og A R for Sophia Amalia Benzon og hendes mand, Andreas Rosenpalm.