Til huset hører der et anneks, hvor der er en særudstilling, blandt andet om livet i Agger og om, hvordan man klarer sig under barske livsbetingelser. Få steder i Danmark har fået så hård en medfart af naturkræfterne som Agger.
I middelalderen og frem til 1825 var Aggertangen den eneste faste vejforbindelse, der knyttede Thy sammen med det øvrige Vestjylland. Den rute havde stor betydning, når studene skulle drives til marked sydpå.
Aggerområdet var et udsat sted, hvor havet kunne finde på at tage et bid landjord og endda helt overskylle tangen. Ser man på gamle kort, vil man finde navne som Nabe, Bollum, Toft, Aalum og Vester Agger. Det er alle byer, som nu er forsvundet i havet.
Et direkte brud på tangen fandt sted i 1825, men den nuværende Thyborøn Kanal blev først dannet ved en stormflod i 1862.
Fiskerhuset er en del af Museum Thy.