Skovsbo Gods er opført i 1570'erne af Erik Hardenberg, der var én af sin tids rigeste mænd. Men der hvilede en tung skæbne over Hardenberg og hans hustru, Anne Rønnow. Allerede som 3-årig blev hun moderløs, og selv døde hun i 1609, som den sidste i sin linje af Rønnowslægten. Også Erik Hardenberg blev den sidste af sin slægts mandslinje. Parret fik 10 børn, hvoraf 6 døde tidligt. Af de 4 overlevende døtre var de to sindssyge. Intet under, at parret blev præget af tungsind, melankoli og stærk religiøsitet.
Det fortælles, at Anne går igen på Skovsbo. Spøgeriet kan undre, for hun var både from og godgørende. Det fortælles også, at fru Rønnow engang fik opført det såkaldte Skovsbokrucifiks som takkeoffer. Krucifikset står endnu ved landevejen ved Skovsbo. Vejkorset har givet anledning til spekulation om, hvorvidt Anne Rønnow mon var skjult katolik i tiden efter reformationen i 1536.
Der er ingen adgang til godset for besøgende, men godset kan ses fra vejen.