Tilbake i hjemlandet ble han seksjonsingeniør i 1851 for strekningen Christiania - Lillestrøm ved Hovedbanens anlegg. Dette anleggsarbeidet ble ledet av Robert Stephenson og Carl Abraham var eneste norske ledende ingeniør på dette anlegget. En kan jo spekulere i om hans språkkunnskap var avgjørende for at staten lot et engelsk selskap ta oppdraget? Ikke mange snakket engelsk og kunne jernbaneutbygging i Norge den gang. Jernbanebygging i England skilte seg fra andre lands på et vesentlig område: kvaliteten på banekonstruksjonen. England var et land med mye penger da jernbanenettet ble utbygd, og byggenormen gjenspeilte landets rikdom. Derfor ble det ikke spart på noe verken ved brukonstruksjoner eller linjeføringer og disse har i mange tilfeller vist seg fullt ut akseptable også for dagens togvekter og hastigheter. Norges første jernbane, Hovedbanen, ble også bygd etter engelske kvalitetskriterier og krevde dermed en rikdom Norge ikke hadde. Så da han i 1856 som amtsingeniør i Akershus var i gang med forundersøkelser til de første statsbanene, Kongsvingerbanen, Grundsetbanen og Størenbanen begynte han å undersøke muligheten for et enklere og billigere system for jernbaneanlegg. Han reiste til ulike smalsporbaner i Belgia, Østerrike og Sverige i 1856 og 57 for å se hvordan disse fungerte. Der ble han overbevist om at disse holdt kravene til togframføring. Grundsetbanen og Størenbanen ble vedtatt smalsporet i 1857. Året etter ble han ansatt som ledende ingeniør og sjef for Statens Jernbanenanlægs hovedkontor. Da verdens første lokomotivdrevene, smalsporede jernbanestrekning, Hamar - Grundset ble åpnet 23.juni 1862 kan han ha vært fotografen, det var veldig få andre nordmenn med kamera langs sporet den gangen.
England var på dette tidspunkt storeksportør av både teknologi og kompetanse og engelskmennene bygde jernbaner i alle koloniene. I England var normalsporet ”standard gauge” vedtatt som eneste norm av Parliamentet i ”The Gauge Act” i 1846, men den gjaldt ikke for koloniene. Det kunne det bygges smalere og dermed også rimeligere, og Pihl hadde mange interesserte fagfeller blant engelske jernbaneingeniører. En fagfelle, Sir Charles Fox & Sons drev konsulent- og rådgivningsfirma for jernbaneutbygging i mange kolonier og i Canada. En av sønnene kom på inspeksjon av de norske smalsporbanene i 1864, og konkluderte med at dette var den ideelle løsning for ”a rising country or colony”. Dermed gikk startskuddet for smalsporutbygginga verden over i land som, i likhet med Norge, ikke hadde hatt råd til jernbaneutbygging etter engelsk standard. I Norge ble all innenlands jernbane bygd etter denne standarden helt til vedtaket om at Bergensbanen skulle bygges normalsporet ble fattet i 1898, året etter Carl Abrahams død.
Prosjekteringen av Grundset- og Kongsvingerbanen gikk greit unna etter starten i 1857, og sluttsummen viste at det var store penger å spare ved å bygge smalsporet. Lokomotiver til begge banene ble bestilt hos Stephenson-fabrikken i Newcastle, men det var ikke enkelt å få den til å bygge smalsporlokomotiver. Lokomotivene viste seg å være stive for de krappe kurvene og dessverre er ingen av disse lokomotivene bevart. Til den siste banen, Størenbanen som følger elva Gaula i bratt og ulendt terreng, trengte Carl Abraham en lokomotivfabrikant som turte å tenke nytt for å få et smidig lokomotiv. Han deltok sjøl i utvelgelsen av fabrikant og la seg opp i konstruksjonen av lokomotivet som var det første i Norge med boggi, noe revolusjonerende nytt da det kom. Dette førte til at utenlandske jernbaneingeniører kom til Norge på studietur for å se på siste nytt!!!
Også ved senere leveranser, bl.a. til Randsfjordbanen, korresponderte han tett med lokomotivprodusenten Peacock Beyer i Manchester om gode tekniske løsninger. I 1866 sto prototypen ”Tryggve” klar og ble kopiert av mange lands jernbaneforvaltninger under betegnelsen ”Norwegian Narrow Gauge Tank”. Etter hvert deltok han også i utformingen av smalsporet vognmateriell. Metalldelene ble kjøpt inn fra engelske fabrikker og vognene ble bygd ved et norsk snekkerverksted, Skabo som snart leverte svært mye av norske smalsporvogner. Carl Abraham hadde med andre ord en finger med i alt fra valg av trase- og sporvidde til lokomotiv- og vognkonstruksjon. Han var også en viktig rådgiver for utbyggingen av jernbane i mange land som sto i noen lunde samme situasjon som Norge, enten å bygge smalsporet og billig, eller ikke bygge jernbane i det hele tatt.I motsetning til land som Australia og Sør-Afrika, ble aldri smalsporet videreutviklet til et fullverdig jernbanenett for moderne infrastruktur her til lands, men ombygget til billigste type normalspor. Hans konstruksjon betydde at mange land fikk et godt utbygd jernbanenett innen de økonomiske rammene som var tilgjengelige og slik fikk en mulighet til vekst og utvikling de ellers ikke ville hatt råd til. Det første store baneanlegget etter normalsporstandard, Bergensbanen, kostet et helt statsbudsjett å få ferdig.