Finse, mest kjent som det høgaste punktet på Bergensbanen (1222 m.o.h.), vaks fram under bygging av Bergensbanen i byrjinga på 1900-talet. På det meste var det ca. 400 innbyggjarar i bygda; dei fleste av dei var jernbanearbeidarar og familiane deira. Kort tid etter at dei slo seg ned i bygda ble det reist krav om eige herad. I 1920 sendte oppsittarane ein søknad til Ulvik herad, der dei bad om å bli utskiljd frå heradet. I Ulvik satte dei då ned ei nemnd som skulle gå gjennom søknaden og førebu saka for herredsstyret. Ei deling av Ulvik ville, i tillegg til Hordaland fylke, også berøre Sogn og Fjordane og Buskerud. Eit nytt Finse herad ville nemlig inkludere område i alle tre fylka. Heradet ville strekke seg frå Ustaoset i Hol til Langvatsoset i Ulvik; ei strekning på 80 km.
Blant fjellfolkets argument var at dei følte seg urettferdig behandla, blant anna i forhold til skule, kirke og skatt. Når det gjaldt skule var nemnda ikkje enig i kritikken frå Finse-folket. Nemnda argumenterte for at Finse hadde fått det beste skulehuset; «visselig det best utstyrde skulehus i bygdi», som det heite i nemndas rapport. Ikkje noko skulekrav var blitt avvist av styresmaktene i Ulvik, meinte nemnda. Ifølge nemnda ville heller ikkje kyrkjelege forhold verte betre ved ei deling av heradet. Oppsitterne på Finse hevda at dei betalte meir i skatt enn det dei fikk igjen i kommunale ytingar, noko nemnda ikkje var samd i.
Innbyggjarane på Finse var misførnøgd med den lange avstanden til heradssenteret i Ulvik. Så langt var det at Finse-folk enkelte gonger ikkje møtte i heradsstyret eller andre kommunale organ. Nemnda såg seg ikkje einig, og viste til at vegen var meir enn god nok og at ein kunne reise Ulvik-Finse på ein dag. «Ein finn […] at heller ikkje dei geografiske forhold gjer ei utskiljing naudsynleg», skreiv nemnda.
Nemnda frykta og at ei eventuell utskiljing av Finse ville skape ein uheldig presedens, og at heile heradet dermed skulle gå i oppløysing. «Osa vil kunne krevje seg utskilt, og hev ein fyrst gjenge med på ei utskiljing av Finse, vil det vera uraad aa segja nei til Osa, og dermed er Ulvik herad sundlema», argumenterte nemnda.
Den kommunale nemnda tilrådde heradsstyret og gå imot ein deling av heradet, og karakteriserte kravet frå Finse som «meiningslaust». Saka kom opp i heradsstyret 25. august 1922, og ikkje overraskande blei forslaget nedstemt med 11 mot 3 stemmer. I tillegg til Ulvik herad, gjekk også Sogn og Fjordane, Buskerud og Hordaland fylker imot. Fylkesmannen i Hordaland tilrådde derimot ei deling.
Det blei aldri noko Finse herad. Storhetstida til fjellbygda tok slutt på 1960-talet, og no er det berre nokre få fastbuande kvar på Bergensbanens høgaste punkt.