Han vart kjend med Hallingskarvet ved at han var med foreldra sine på hytte på Ustaoset, og i 1930-åra fann han ut at han ville byggja ei hytte ved Tvergasteinstjørnet. Dette ligg tett inntil sørveggen av Hallingskarvet. Hytta står der den dag i dag, og vert kalla Tvergastein.
Ovanfor hytta, heilt på toppen av fjellet, ligg ei anna lita hytte med smålåtne mål. Den vert kalla Skarvereiret og vart bygd av Næss under krigen. Han rydda eit stort tal klatreruter opp til den vesle hytta og hadde ein lem i golvet som han kunne klatra rett opp gjennom.
Tvergastein er i dag forvalta av ei stifting. Den er ikkje open for besøkande, og det er grunn til å heidra Arne Næss sin tanke om at naturen skulle få leve mest mogeleg i fred. Hans ynskje var at vegetasjonen skulle vera mest mogeleg urørt.
Næss bygde opp nokre enorme murar rundt hytta, og desse står i dag som vitnesbyrd om hans pågangsmot og uthald.
Skarvereiret vert i dag teke vare på av klatreklubben på Geilo. Det er mogeleg å besøka staden, men ein må vere forsiktig. Det er eit 200 meter høgt stup rett utanfor hytta. Bygginga av denne hytta er skildra i eit eige kapittel i boka Det lange livs far og er ei dramatisk forteljing.