Diget har formentlig været et forsvarsværk ved den nærliggende Haller Å, der har udgjort en grænse mellem forskellige stammer.
Ifølge traditionen fandt Slaget på Grathe Hede sted her i 1157. Her blev Svend Grathe dræbt af sin rival til tronen Valdemar den Store.
Diget skulle angiveligt have fået sit navn efter Svend Grathe, der også var kendt som Svend Knap.
Kong Knaps Dige er i dag fredet.