Det nuværende senmiddelalderligeborganlæg blev anlagt i begyndelsen af 1500-tallet af rigsråd Johan Jørgensen Urne, han havde arvet gården efter sin far Jørgen Urne . I 1534 blev gården hærget af oprørske fynske bønder under Grevens Fejde. Johan Urne døde i 1537, og gården den stridbare søn, Christoffer Johansen overtog gården.
I 1590'erne blev der føjet to runde trappetårne i borggården til byggeriet. De blev opført på foranledning af Niels Bild til Ravnsholt, der giftede sig med Christoffer Urnes datter Magrethe, hun var kommet i besiddelse af Rygård i 1582.
I 1658 blev Rygård hærget af svenskerne.
I 1915-22 blev Rygård restaureret arkitekterne Ivar Bentsen og Jens Ingwersen. Rygård er på 377 hektar.
Der er ikke adgang for offentligheden.