Da reformationen kom til Danmark i 1536, blev klosteret nedlagt, og klosterbygningerne blev revet ned. Murerbrokkerne brugte man så til at bygge nye huse i byen og til sikring af havnen.
Kirken er kendt for sine fine kalkmalerier fra begyndelsen af 1500-tallet, der fremstiller Maria forældres historie.
Den nederlandske Maria-tavle er fra ca. 1520. Et vandresagn siger, at altertavlen blev smidt overbord fra et skib i havsnød som en gave til Sæby, og at den blev fundet på stranden af en blind mand.
Den forestiller Jomfru Maria, der krones som himmeldronning. Hun står på en halvmåne og en hvæsende drage. Dragen symboliserer Djævelen. Nedenunder ligger den sovende Isaj, og fra hans bryst vokser Jesus stamtræ.
Derudover er der to store fløjtavler, der viser hyrderne og vismændenes tilbedelse af den nyfødte Jesus. Nedenunder dem er der fire små fløjtavler med de fire evangelister.