Voldstedet er en herregårdsplads. Med en grundflade på ca. 65 x 70 meter og en topflade på 1600 m2. Der har både været plads til beboelse og til andre funktioner på voldstedet. En stor vinkelbygning på 20 x 20 meter har efter ældre optegninger ligget på voldstedets nordøstre hjørne, måske Valdemar Atterdags private bolig.
Alt taler for, at Nørtorp blev grundlagt af kong Valdemar Atterdag som et støttepunkt i bestræbelserne på at genrejse den danske kongemagt. I 1365 holdtes nemlig rettergang på stedet, et forhold der tyder på, at vi her snakker om kongelig ejendom. Fra 1365 tog Valdemar kampen op mod den thylandske adel, og i løbet af året fik han solidt fodfæste i landsdelen. To år senere foregik kongens administration fra Ørum i Sydthy, der var langt stærkere befæstet og bedre placeret. I 1401 forlenede dronning Margrethe gården og voldstedet Nørtorp til Jens Bondesøn Due. Hans søn Bonde Jenssøn Due var en af egnens store godssamlere, og gården blev i middelalderen drevet af en foged.