Dog hed Herregården oprindelig ”Vorn” hvilket betyder skov. Hovedhuset er opført i 1744 og trefløjet. Igennem tiderne har Baggesvogn Herregård haft adskillige ejer – de hyppige ejer skift har ofte været grundet dårlige økonomi. Fra 1997 har Baggesvogn Herregård haft samme ejer
Omkring Herregården ligger Baggesvogn skov som er den nordligste beliggende bøgeskov i Danmark. De anlagte stier i skoven må man gerne anvende, men der er ingen offentlig adgang til herregården.