Holstgården er en patriserbygning, bygget i 1756, og som fikk sin nåværende form i 1797.
Huset ble bygget for familien Holst som drev skipsfart og handel, samt hadde flere gårder i Botne. Holmestrand kommune kjøpte gården i 1850-årene. Først var det borgerskole i bygget og da den ble flyttet ble det Holmestrand offentlige skole for døve fra 1909-14. Da døveskolen også ble flyttet, kjøpte museet bygningen i 1932, og siden da har Holmestrand museum holdt til i bygget.