Adeleg setegard
I 1139 vart Herdla herja av Sigurd Slembe og Magnus Blinde, medan eigaren, Lakse-Pål, sat på tingsete på Hamre i Osterfjorden. Filippus Simonsson, dotterson til landmannen Arne på Stårheim i Nordfjord og nevø av den mektige oslobispen Nikolas Arnesson, var heime på Herdla då han vart vald til baglarkonge i 1207. I seinmellomalderen vart Herdla adeleg setegard, for så atter å gå over til kongen under reformasjonen.
Kornsilo
I 1637 vart garden ein del av eigedomane til Crijin Hooft, Bergens fremste kjøpmann, skipsreiar og hovudinteressent i «Det russiske rugkompani». Han bygde ein kornsilo, «Kornspeicher», på garden, som lagerplass for korn importert fra Arkhangelsk. Når kornet skulle seljast til byens innbyggjarar, vart det skipa i mindre parti til sjøhusa ned Nykirken i Bergen.
Velståande eigarar
I 1662 vart garden Herdla kjøpt av lagmann Hans Hannssøn Smith. Han vart adla under namnet Lilienskiold og var mellom Bergens rikaste menn, med store jordegods i alle vestlandsfylka. Seinare gjekk garden over til sonen med same namn, som vart amtmann i Finnmark 1684-1701 og mest kjend for sitt verk Speculum Boreale, 1698. Fram gjennom hundreåra møter vi kjende embetsslekter og kjøpmannsslekter på Herdla gard: Svanenhielm, Heiberg, Krüger og Konow. Sidan 1841 har garden vore familien Bjørnstads eigedom.