Fra Herregården i Larvik, som fra 1674 til 1805 var residens for grevene de få gangene de tok turen opp fra Danmark for å besøke sine norske besittelser. Bygginga startet altså i 1674, noe som er markert ved at byggherren, Ulrik Fredrik Gyldenløve (1638-1704), fikk hogd inn initialene sine og dette årstallet i berget som skjermer gårdsrommet mot nord. Her står det «V.F.G.L. 1674». V-en skyldes at man på 1600-tallet ofte skrev V der vi i vår tid ville bruke U, G-en og L-en har sammenheng med at den som har hogd bokstavene inn i berget har tatt med forbokstavene i begge navneledd (Gylden-Løve). Ulrik Fredrik Gyldenløve fikk «erigert» det gamle Brunla amt - den søndre delen av Vestfold - til grevskap i 1671. Han bodde stort sett i København, men besøkte så vidt vi kjenner til Larvik fire ganger i løpet av de 33 årene han var administrativt overhode for Brunlanes, Hedrum, Tjølling, Sandar (Sandeherred) og Tjøme med byer og ladesteder: I 1674, da han satte igang bygginga av Herregården, 1677 (da han inngikk sitt tredje ekteskap og hadde hvetebrødsdagene i den nybygde residensen), i 1679 og 1685.