Køng Fabrik blev anlagt af Niels Ryberg. Han var født i Salling i Nordjylland. Hans far var fæstebonde, men Niels Ryberg kom i købmandslære og blev en af landets rigeste mænd. I 1774 købte han et stort stykke jord ved auktionen over Vordingborg Ryttergods. Det omfattede landsbyen Køng, og her igangsatte han i 1783 en stor linnedfabrik med et damask- og drejlsvæveri, som få år senere fik udsalg på Børsen i København og indtil sit ophør i 1923 blev leverandør til det Kongelige danske Hof.
Køng by voksede sig stor omkring fabrikken, som i oplysningstidens ånd sørgede for uddannelse af landsbyens fattige piger i spindeskolen og drenge i fabrikkens forskellige værksteder.
Fabrikkens smukke hovedbygning, Gl. Øbjerggård fra 1781, blev efter fabrikkens flytning til Vintersbølle ved Vordingborg i 1852 brugt til beboelse. Desværre blev den i det lange løb ikke vedligeholdt, og hvis ikke en gruppe lokale ildsjæle havde ydet en kæmpeindsats for at bevare bygningen, var den nok blevet revet ned. Restaureringen af Gl. Øbjerggård blev i 1999 præmieret af Vordingborg Byråd. To andre bygninger fra fabrikkens tid præger stadig byen: Spindeskolen fra 1780, som blev smukt restaureret i 2014, og hospitalet fra 1793, som i sin tid sikrede fabriksarbejderne forsørgelse i deres alderdom.
Museet viser dels en permanent udstilling om fabrikkens historie og forarbejdning af hør, dels skiftende udstillinger, hovedsagelig af nutidig tekstilkunst med fokus på hør - se også museets hjemmeside eller Facebook.