Frem til reformationen i 1536 hørte det under bispesædet på Børglum, herefter kom det under kronen, indtil slottet i 1560 blev overdraget til admiral Otte Rud og fru Pernille Oxe.
Efter mandens død byggede hun et større renæssance-anlæg, hvoraf hovedbygningen står tilbage, selvom end den er ombygget flere gange siden.
Siden 1723 har Sæbygård Slot været i familien Arenfeldts besiddelse, indtil det i 1990 blev omdannet til en fond under Sæby Museum.
Sæbygaard drives i dag af Sæbygaards venner. Her kan man leje riddersalenen + kælder til brylluper, fødselsdage, kurser, mm.
Om sommeren er museet også åbent for publikum hvor der er forskellige udstillinger og opgaver omkring stedets historie.