Gavlhuset er Tønders ældste borgerhus. Det menes at være opført for byens kalenderbroderskab i ca. 1520, men bygningsstilen peger mere i retning af omkring ca. 1560. Det er opført i en blanding af sengotik og tidlig renæssancestil, og har ikke forandret sig nævneværdigt siden opførelsen.
I 1778 blev bygningen overtaget af bager og oldermand for bagerlavet Momme Detlef Jensen. Han indrettede et bageri, konditori og et udskænkningssted i bygningen. I 1837 blev bageriet overtaget af Martin Petersen, og han og hans slægt drev bageriet og Klostercaféen helt indtil 1985.
I 1925 gennemgik bygningen en restaurering, og da blev de gamle oprindelige gavlblændingerne frilagt og der opførtes en ny karnap. Endnu en restaurering ved H. H. Engqvist skete i 1949.
I dag er bygningen indrettet som café..
Kilde: www.historiskatlas.dk