Til og med hele området mellom Kvarven og Sandviken ville kunne beskyttes fra dette høydedraget på Nordnes.
Festningen har flere bygninger, bl.a. et stort krutthus fra ca. 1700 og kassematter (skuddsikre rom) fra 1660-årene. Både brannvakt og Værvarslingen har benyttet seg av den strategiske posisjonen. I nyere tid har Nordnes Bataljon hatt sitt hovedkvarter på Fredriksberg fra 1935.