Rundt om borgbanken har der været en voldgrav med vand. Man har fundet rester af træ i voldgraven, der måske stammer fra en vindebro. På den smalle tange, der dengang forbandt næsset med land, har der ligeledes været en vold. Og få hundrede meter nord for borgen, på en høj 70 meter over søens overflade, har der ligget endnu et voldanlæg.
Voldstedet på Dynæs blev opført i en urolig periode i Danmarkshistorien mellem 1250 og 1350. Valdemar Sejr, der regerede indtil 1241, havde været en stærk konge, men da han døde, opstod der splittelse i riget – store landområder blev simpelthen pantsat og der var meget intern uro. Rundt om i landet etablerede lokale herremænd – eller ”konger”, som de omtales i de mundtligt overleverede fortællinger – derfor borge, hvortil de kunne søge tilflugt og forsvare sig fra, hvis der blev brug for det.