Huset er opført i 1420 og viderebygget ca. 1660, men der findes under selve huset rester og fragmenter helt tilbage fra 1200-tallet.
Der er omkring huset desuden fundet rester i jordlagene af grubehuse fra jernalderen.
Der er altså mere end 600 års historie samlet på dette sted. I daglig tale kaldes bygningen for Bryggergården. Fra midten af 1800-tallet har her nemlig været bryggeri i sidefløjene og lager af brændevin i den gamle hvælvede kælder under huset. Igennem 1900-tallet har der været skiftende butikker, som det ofte ses i gamle huse. Der har været café og skænkestue, isenkram, grønthandel, brugskunst og nu antikbutik. Men før 1900 var det en stor firelænget købmandsgård med alskens varer ud over øl og snaps.
Det er dog tiden før 1800, der er den mest spændende. Den gamle kælder var oprindelig slet ikke en kælder, men et rum man kunne gå ind i fra gaden. Det er kun fordi, man gennem århundreder har lagt det ene gadelag ovenpå det andet, at det hævede gadeniveau får rummet til at fremtræde som en kælder. Dengang var huset borgmestergård og hjemsted for den adelsslægt der blev kaldt De Bogense Herremænd. Rummet har været rådstue, og byens anliggender er gennem mange år blevet drøftet og besluttet i dette rum. Man mener, at rummet også har tjent som kapel i en årrække for de døde borgmestre, inden de blev lagt op under gulvet i Bogense Kirke. Her har også været tilflugtsrum under århundreders krige. Mange borgere i byen kan stadig huske deres ophold i kælderen under 2. verdenskrig.
Den værste krig var nok svenskekrigen 1657 – 1660. Historien vil fortælle at borgmesteren gemte sin datter og byens sølvskat i et rum under huset. Da han ikke ville røbe, hvor sølvet lå, slog svenskerne ham ihjel og hans datter, Antonia omkom i det hemmelige rum, hvor hun ligger den dag i dag. Samtidig brændte svenskerne det meste af huset ned. Som huset står i dag, er det opført på resterne af det gamle omkring 1660.
Huset fyldte 600 år i 2020, og det blev fejret med maner! I dag er der bl.a. cabaret hvert år, forskellige kunstudstillinger og antikhandel i den gamle bygning.