Adelig setegård
Deler av hovedbygningen skriver seg trolig fra tidlig på 1700-tallet. I 1700-årene ble gården bygget om for generaltollforvalteren J.C. Geelmuyden og fikk da den forseggjorte fasaden og fløyen rundt gårdsplassen. Rommene ble smykket med rikt utstyr i tapeter og malt dekor. Damsgård var både lystgård og fritidsbolig og samtidig avlsgård, det vil si adelig setegård. Geelmeuyden ble adlet til Gyldenkrantz i 1783.
Janson-familien
I 1787 ble Damsgård kjøpt av hoffagent og kjøpmann Herman Didrich Janson. Han moderniserte noen av rommene i louis-seize-stil og fortsatte å benytte Damsgård som lystgård og fritidsbolig. Huset samlet eliten i Bergen til politiske diskusjoner og store fester. Fra omkring 1870 ble Damsgård helårsbolig for Janson-familien.
Det gamle ordet «Villa» dekket både hus og hageanlegget rundt. De enkelte delene skulle utgjøre en harmonisk helhet. Den opprinnelige hagen på Damsgård ble etablert på 1780-tallet. Mens østhagen er en rekonstruksjon av det barokke hageanlegget som lå der, er det meste av vesthagen en restaurering; med andedam og karussdam. Mange av de gamle beskårne linde- og almetrærne er fra hagens begynnelse, mens de fleste busker og stauder som står der, er satt inn. De enkelte artene av planter, og for øvrig også karussene i dammen, er av gamle gode sorter som fantes fra begynnelsen. Hagen har betydelig nasjonal og internasjonal interesse.
Museum
I 1983 ble Damsgård overtatt av staten, Bergen kommune og Hordaland fylkeskommune. Det er Bergen Bymuseum som har overtatt ansvaret for eiendommen som museum.