Boller Slot består i dag af fire fløje som lukker sig om en gårdsplads. Sådan har slottet ikke altid set ud, da de forskellige fløje er blevet tilføjet gennem tiden og har været igennem en del renoveringer. F.eks. har der tidligere været tårne med spir. 1350 er første gang, man hører om bygningen, men det er først i 1400-tallet, at man for alvor kan finde informationer om ejerskabet, der har skiftet hænder mellem forskellige danske adelsslægter igennem tiden.
I 1621 køber Ellen Marsvin Boller Slot. Hun er mor til Kirsten Munk, der var gift med den danske Kong Christian IV. I 1630 bliver hun sat i husarrest på Boller Slot efter sit brud med kongen. Her forbliver hun frem til sin død.
I begyndelsen af 1900-tallet bliver Boller Slot solgt til Staten og derefter til Sygekasserne i 1930. Fra 1965 til 2012 fungerer slottet som et plejehjem. Det er først i 2015, at slottet sælges videre, renoveres indvendigt og i dag udlejes som bolig og erhverv.
Slottet er ikke offentligt tilgængeligt for besøgende, men Slotsparken og Blomsterhaven er åben for offentligheden i sommerhalvåret.
Boller Slot ligger i idylliske omgivelser ved den smukke gamle herregårdsskov, Boller Nederskov. Ved slottet ligger en større slotspark med blomsterhave, skulpturer, en asiatisk inspireret have med skildpadder, en voldgrav og en 1000 år gammel eg.
Der er gode muligheder for gåture på de mange stier i skoven, der ligger helt ned til Horsens Fjord. Ved den nærliggende Boller Mole har man en enestående udsigt over fjorden og Horsens by.
Boller Slot er forbundet med Horsens by via den 3 kilometer lange Planetstien (Bollerstien), der følger sydsiden af Horsens Fjord.