Museet har til huse på Højvanggaard, som er en kommunal ejendom ved Aftensang i Egtved by. Gården er en gammel landbrugsejendom, som oprindelig blev bygget i 1684. De nuværende bygninger er bygget langt senere. Alle bygningerne er bevaret og ser stor set ud, som da gården blev drevet som landbrug.
Egtved Museumsforening har en lejeaftale med kommunen og råder derved over i alt 4 bygninger, som tidligere var lade- og staldbygninger samt et lille vaskehus.
Museumslokalerne i den nordlige længe kan også bruges når foreningen afholder forskellige arrangementer som f.eks. udstillinger, sankthansfest og julemarked.