Dvije godine poslije završetka Prvog svjetskog rata, u jesen 1920. godine, radnici željeznicke radionice u Sarajevu pokrenuli su inicijativu za formiranje fudbalskog kluba koji je dobio ime Željeznicar. Prvi je tu ideju za formiranje kluba svojim kolegama predložio Dimitrije Dimitrijevic. Sredinom jula 1921. godine, podnesena je molba Sarajevskom podsavezu za primanje Željeznicara kao punopravnog clana podsaveza. Kako bi bio primljen u podsavez, Željeznicar je trebao odigrati dvije utakmice i mecevi su dogovoreni sa ekipama SAŠK-a i Sarajevskog ŠK. Prvu zvanicnu utakmicu Željeznicar je odigrao sa SAŠK-om 17. 09. 1921. godine i izgubio sa 5:1. Prvi gol u historiji kluba dao je Dimitrije Dimitrijevic. Dan nakon ovog susreta odigran je mec sa Sarajevskim ŠK i Željeznicar je ponovo bio poražen, ali ovog puta sa 2:1. Ono što je bilo najvažnije 19. 09. 1921. godine, Željeznicar postaje punopravni clan saveza.
Prvu prvenstvenu utakmicu odigrao je 02. 10. 1921. godine sa ekipom ŠPARTE, a rezultat je bio nerješen 1:1. Bili su to počeci kluba, koji je evo nakon osam decenija postojanja, postao jedan od najboljih i najorganizovanijih timova u BiH.
Kroz svoju historiju Željeznicar je doživljavao uspone i padove. Stekao je mnogobrojne simpatije ljubitelja fudbala, a ono što se sigurno može reci je da Željeznicar ima najbolje navijace u BiH.

Poslije prijema u Sarajevski podsavez pet narednih godina ekipa se takmici u drugom razredu da bi u sezoni 1926./27. godine Željeznicar postao clan prvog razreda Sarajevskog podsaveza. U ovom rangu takmicenja ostaje sve do pocetka Drugog svjetskog rata, tacnije do 1941. godine. Poslije završetka rata, dolazi do reaktiviranja kluba koji odmah nastavlja takmicenje.

U sezoni 1945./46. godine, Željeznicar se takmici u prvenstvu grada Sarajeva i u konkurenciji tri ekipe osvaja prvo mjesto.

Samo godinu dana kasnije, u kvalifikacijama, Željeznicar postaje član Prve savezne lige Jugoslavije. U to vrijeme nastaju veliki problemi, jer se od strane Fiskulturnog saveza BiH vrši pritisak na Željeznicar kako bi svoje igrace ustupio fudbalskom klubu Torpedo. Sedam igraca prelazi u Torpedo i u klubu nastaje kriza.
Od 1947. godine pa u narednih šesnaest godina tim se takmici u prvoj, drugoj, republickoj i podsaveznoj ligi.
Vec od 1962. godine, ekipa postaje stabilan prvoligaš i pocinje stvarati generacije fudbalera koji ce ostvariti najbolje rezultate.

Prvi znacajniji uspjeh na euro-sceni napravljen je u sezoni 1968./69. u Srednjoevropskom kupu. Željeznicar je uspio doci do polufinala a u prethodnim mecevima savladao je ekipu Honveda iz Madarske, potom Banjik dok je u polufinalu izgubio od Union Teplica, ekipe koja je takoder iz bivše cehoslovacke. U prvom susretu u Sarajevu bilo je 1:1 da bi u gostima Željeznicar izgubio sa 2:1.

U sezoni 1970./71. godine, Željeznicar postaje vicešampion bivše Jugoslavije sa 45 bodova. Hajduk je te sezone bio prvak sa 49 bodova. Izlazak na evropsku scenu donio je izuzetno dobre rezultate. Naime, Željeznicar se takmicio u kupu UEFA i uspio je doci do cetvrtfinala. Pobjede nad belgijskim Brižom, italijanskom Bolonjom i škotskim ST. Džonstonom bile su ravne podvigu, ali u cetvrtfinalnom mecu Željeznicar je izgubio od madarskog Ferencvaroša na penale.
Da nisu slucajno ostvarili tako dobre rezultate, kako na medunarodnoj sceni tako i u prvenstvu, fudbaleri Željeznicara pokazuju vec naredne sezone kada postaju šampioni Jugoslavije. U poslednjem kolu te sezone savladan je Partizan u Beogradu sa 4:0. Bilo je to 15. juna 1972. godine, šampionsku generaciju sacinjavali su:Janjuš, D. Kojovic, Becirspahic, Bratic, Katalinski, Hadžiabdic, Jelušic, Jankovic, Bukal, Spreco i Derakovic. Tokom te sezone još su igrali:
S. Kojovic, Hrvat, M. Radovic, Ibrahimovic i Rodic. Trener te sjajne generacije fudbalera bio je Milan Ribar sa pomocnicima Kulovicem i Požegijom. Željeznicar se popeo na sam vrh jugoslovenskog fudbala, a ekipe Partizana, Dinama, Crvene Zvezde, Hajduka dobile su velikog konkurenta.

Teški trenuci u ekipi ponovo nastaju u sezoni 1977./78. godine kada Željeznicar seli u niži rang takmicenja, ali se u narednoj sezoni ponovo vratio u elitno društvo.
Novi veliki uspjeh ostvaruje se 1981. godine kada tim sa Grbavice dolazi do finala kupa bivše države i u finalnom mecu gubi od mostarskog Veleža sa 3:2. Susret se igrao na stadionu Marakana, 24. 05. 1981. godine pred oko 50 000 gledalaca. Oba gola za Željeznicar postigao je Mehmed Baždarevic. U finalu kupa igrali su: Njeguš, Berjan, Lušic, Cilic, Bahtic, Odovic, Paprica, Baždarevic, Nikic, Grabo, Komšic, Saracevic i Vlaški. Na klupi su još bili Arnautovic, Baljic, Ivanovic, ]uric i N. Pehlivanovic.

U Prvoj saveznoj ligi Jugoslavije nastupa sve do pocetka agresije na BiH, tacnije do 1992. godine. Najveci uspjeh na euro-takmicenju i u svojoj historiji uopšte, Željeznicar ostvaruje u sezoni 1984./85. godine kada se uspijeva plasirati u polufinale kupa UEFA. Tu utakmicu ljubitelji fudbala u bivšoj državi, a posebno navijaci Željeznicara, dugo ce pamtiti. Madarski Videoton je u prvom mecu bio bolji od Željeznicara pobjedivši sa 3:1. U uzvratnom susretu na Grbavici Željeznicar je imao povoljan rezultat sve od 2:0 sve do 90 minute kada igrac Videotona, Cuhaji, postiže pogodak i na taj nacin svom timu obezbjeduje plasman u finale kupa UEFA. Generaciju koja je ostvarila ovaj uspjeh predvodio je najbolji trener sa ovih prostora Ivica Osim a ekipu su sacinjavali: Škrba, Berjan, Baljic, Šabanadžovic, Komšic, Cilic, Bahtic, Curic, Paprica, Baždarevic, Škoro, Mihajlovic, Samardžija i Nikic.

Teške godine po klub bile su, svakako, od 1992. do 1995. godine kada je trajala agresija na našu zemlju, jer se rad ekipe odvijao u izuzetno teškim uslovima, a stadion Grbavica je bio nedostupan za treniranje. Poslije završetka rata u našoj zemlji Željeznicar nastavlja takmicenje u Premijer ligi BiH.

Epitet šampiona ponio je u sezoni 1997./98. godine kada je u finalu play off-a savladao vjecitog rivala, tim Sarajeva sa 1:0, pogotkom Hadisa Zubanovica u poslednjim minutama utakmice. Titula šampiona je osvojena pod dirigentskom palicom Envera Hadžiabdica a u ekipi su igrali: Gušo, Huric, Burek, Pehlivanovic,
Kunic, Bišcevic, Mulaosmanovic, Buljubašic, Fatic, Gredic, S. Žeric, Šopovic, Zubanovic i Vazda. Iste godine ova generacija osvaja još jedan vrijedan trofej, Superkup. Utakmica Superkupa igrala se na stadionu Grbavica ponovo izmedu gradskih rivala Željeznicara i Sarajeva. Željeznicar je te iste godine osvojio prvenstvo, a Sarajevo kup BiH. U tom susretu Željeznicar je slavio ubjedljivu pobjedu od 4:0. Treba svakako naglasiti plasman u finale i polufinale kupa BiH 1997. odnosno 1998./99. godine.

U sezoni 1999./2000. godine, Željeznicar zauzima prvo mjesto na tabeli sa izglednim šansama da ponovo dode do šampionske titule.
U sezoni 1999/2000.g. FK "Željezničar" osvaja titulu KUP-a BiH, kada u finalnoj utakmici na stadionu «Grbavica» pobjeđuje ekipu Slobode iz Tuzle rezultatom 3:1 (Žerić,Muratović,Mekić). Kao osvajač KUP-a BiH, FK "Željezničar" u okviru KUP-A UEFA igra protiv Poljskog protivnika Wisle (0:0 i 3:1) – pa u konačnom rezultatu 3:1 Wisla prolazi dalje.

U sezoni 2000/2001 dolaskom Amara Osima na čelo Stručnog štaba FK "Željezničar" osvaja obje titule. Iz tog perioda pamtiće se i veličanstvena proslava ispred Vječne vatre u Sarajevu. Takođe će se pamtiti i pobjeda u finalu KUP-a BiH nad gradskim rivalom Sarajevom od 3.2, a golove za Željezničar dali su Alihodžić 2 i Muharemović. Te godine se FK "Željezničar" po prvi put kao predstavnik Bosne i Hercegovine kvalifikuje u najelitnije klupsko evropsko takmičenje UEFA Ligu prvaka. U prvom kvalifikacionom krugu Lige prvaka Željezničar igra protiv Levskog iz Bugarske. U prvoj utakmici odigranoj u Sofiji Levski pobjeđuje Željezničar sa 4.0, a u revanš utakmici u Sarajevu bilo je za Levski sasvim dovoljno 0:0 za prolaz u dalje takmičenje. A Željezničar i naredne godine nastavlja sa dominacijom u nacionalnom prvenstvu.

U sezoni 2001/2002 Željezničar je ponovo šampion, a u KUP- u dolazi do finala gdje od gradskog rivala Sarajeva gubi titulu pobjednika KUP-a sa rezultatom od 2:1 u korist Sarajeva, a gol za Željezničar postiže Gredić.

Potom nastupa Željin pohod po Evropi, gdje će ga u nastojanjima da uđe u grupnu fazu takmičenja UEFA Lige prvaka zaustaviti slavni Newcastl iz Engleske.

FK "Željezničar" – UEFA Liga Prvaka:

Željezničar – Akranes (3:0-1:0)

Lillestrom – Željezničar (0:1-0:1)

Željezničar – Newcastl (0:1-0:4)

Ispadanjem iz trećeg kruga kvalifikacija za Ligu Prvaka FK "Željezničar" se plasira u I kolo KUP-a UEFA, gdje za protivnika dobija FC Malaga (Španija), međutim da je bilo malo više sportske sreće FK "Željezničar" plasirao bi se dalje jer je u prvoj utakmici odigranoj u Sarajevu rezultat bio 0:0, a u revanš utakmici Malaga na početku utakmice iz penala postiže gol , što je ispostaviće se, bio i konačan rezultat utakmice.

U sezoni 2002/2003 Željezničar je viceprvak BiH i osvajač KUP-a BiH, te se plasira u pretkolo KUP-a UEFA,gdje je voljom žrijeba izvukao ekipu Anorthosis (Kipar). Prva utakmica se igra 14.08.2003.g u Sarajevu a revanš 28.08.2003.g. na Kipru. Takmičenje u ovoj sezoni ostaće zapamćeno i po tome što se odvija na čitavom prostoru Bosne i Hercegovine.