Rallarvegen vart bygt for å kunna transportere materialar og proviant som ein trong under bygginga av Bergensbana, og vart då kalla transportvegen. Opp til dette området gjekk det berre ein kjerreveg frå Voss til dei øvste gardane i Raundalen, og det var naudsynt å få fleire og betre tilførslevegar før ein kunne byrje å byggje jernbana. Vegen frå Raundalen til Upsete sto ferdig til drivinga av Gravhalstunnelen byrja i 1895. Over fjellet mellom Upsete og Myrdal vart det laga ein rideveg. Samstundes var arbeidet med vegen frå Flåm opp til Myrdal i gang, og sommaren 1898 kunne ein køyre med hest og kjerre frå Flåm til Hallingskeid. Til Taugevatn sto vegen klår i 1901. Austfrå gjekk det veg opp Hallingdalen til Ustaoset, og over Ustevatnet var det ferjetransport til Haugastøl, der det vart bygd kai. Hit kom vegen i 1902. Vegen vart spadd rein for snø tidleg på våren så anleggssesongen skulle verte lengst mogeleg. Det fyrste som vart frakta opp var mat og ved.
Dynamitt var med det tyngste som vart frakta til fjells. Den kom med båtar frå fabrikken på Hurum til Granvin, og der overtok hestane. Lass opp mot 350 kg brukte to dagar på å nå fram. Frakta vart betalt per kilo, og bøndene rundt ferjestadene hadde god forteneste dei åra bygginga sto på.
I åra etter at jernbana var ferdig var det usemje om vedlikehaldet av vegen, og ein Stortingsproposisjon i 1911 slo fast at jernbana skulle stå for vedlikehaldet og få tilskot frå kommunane, Den norske turistforening, hotell og stølar. I 1974 vart anleggsvegen opna som sykkelveg, og sidan då har tusenvis teke turen kvar sommar. I dag er det Jernbaneverket som held dette kulturminnet i hevd.