Gamal hamn og handelsstad
Mosterhamn har i uminnelege tider vore skipshamn. Etter tradisjonen skal dette vera den eldste handelsstaden mellom Stavanger og Bergen. I 1582 la kongen ned forbod mot å selja tømmer til framande nordanfor Mosterhamn. Tømmeret skulle gå til å byggja opp Bergen etter brannen i 1561.
Gjestgjevarstad
I Mosterhamn var det også gjestgjevarstad. I 1747 vart denne lagd til Spissøy, aust for Mosterhamn, men i 1797 vart han flytta attende. Den lune vågen i Mosterhamn var for liten for store skuter, så desse ankra ofte opp ved Spissøy, og sjøfolka rodde inn til Mosterhamn om kveldane.
Tollstasjon
Av den gamle handelsstaden står i dag ein halvvalma hovudbygning og eit sjøhus. Inst i vågen låg det ein tollstasjon under Bergen tolldistrikt. Han vart bygd ut i 1859 og overtok etter den nedlagde tollstasjonen på Eldøy ved Stord. Tollstasjonen i Mosterhamn vart nedlagd i 1900.