Borreby Herreborg er et Danmarks mest karakterfulde og bedst bevarede renaissance-bygningsanlæg. Selve herreborgen ’ Det store hus’ er opført i 1556 af rigskansler Johan Friis, som tre år tidligere havde fået gården overdraget af Christian III.
Hovedbygningen er en befæstet herregård, der ligger på et dobbelt voldsted, oprindeligt med kun én indgang, med skydeskår og skoldehuller – et drabeligt forsvarsværk, som kaldes en "herreborg". De talrige forsvarsindretninger skal ses på baggrund af ufredstiden i Danmark omkring Grevens Fejde, kort før reformationen i 1536.
De to borggårdsfløje og portbygningen er opført 50 år efter herskabshuset af kanslerens brorsøn, Christian Friis. Han byggede også store avlsbygninger vest for borggården.
De driftige og dygtige Friis'ernes efterfølgere, brødrene Oluf og Valdemar Daa, satte ulykkeligvis hele arvegodset over styr i den den tid de ejede det - fra 1652-1681. Valdemar Daa slog sig på Alkymi, og fik formøblet hele formuen og Borreby med – en gribende historie som H.C.Andersen beretter i sit eventyr "Vinden fortæller om Valdemar Daa og hans døtre".
I 1750 var Borreby's ejer den dygtige geheimeråd Villum Berregård. Han anlagde bl.a parken som den står i dag, og nyindrettede ligeledes kapellet i borggårdens vestfløj. Kapellet står helt intakt som i 1750.
I 1783 blev Borreby købt af kammerherre, generalmajor Joachim Melchior Holten Castenschiold, og siden da har godset været i slægten Castenschiold's eje, nu 8. Generation.