Huset Ibsen-museet ligger i ble bygget i 1756 av legen Honoratus Bonnevie. Fra 1759 til 1863 eide Andersen-slekten bygningen. Karen Geelmuyden, født Andersen, bestemte seg etter hvert til å leie ut noen rom i husets første etasje.
I 1847 flyttet apotekeren Lars Nielsen og hans medhjelper Henrik Ibsen inn med hele apotekerinventaret. De leide to rom og tok i tillegg i bruk uthuset som bryggerhus, mens fru Geelmuyden og hennes pike Sofie bodde i resten av huset. Ibsen reiste fra apoteket og Grimstad i april 1850, men Nielsen leide rommene frem til 1852/53, da kjøpmann Ole Olsen overtok lokalene for å drive brennevinshandel. Karen Marie Geelmuyden døde i 1863 og flere mennesker flyttet inn i huset etterpå: først "seilmager" Gabriel Rasmussen med kone, tre barn, seks lærlinger og tre tjenestepiker, senere blant annet Jens Glatved med familie og postmester Hans Norman med kona, barn og tjenestepike.
Lokalene i første etasje ble i mange år brukt til brennvinshandel. I 1901 ble byens første brændevinssamlag etablert. Samlaget solgte huset i 1914 til Ibsen-komiteen, som ville etablere et museum til Henrik Ibsens minne. Et gavebrev datert 1916 bekrefter at Grimstad kommune har eid bygningen i nøyaktig 90 år i 2006. Den 27. februar 1924 ble bygningen fredet og har siden vært brukt som museum.
Tidligere het Henrik Ibsens gate Østregade.