Stała orkiestra symfoniczna, obok czeskiego zespołu operowego, była najważniejszą inicjatywą muzyczną w Ostrawie po I wojnie światowej. W 1929 roku powstała jako orkiestra radiowa i stała się ważną częścią czechosłowackiego życia muzycznego. Przy wykonywaniu większych współczesnych partytur (Bartók, Schönberg) łączono ją z orkiestrą operową, podobnie jak podczas gościnnych występów wybitnych dyrygentów i kompozytorów, wśród których znaleźli się m.in. Igor F. Strawiński, Siergiej S. Prokofiew i Paul Hindemith. Ten ostatni szczególnie polubił Ostrawę i wielokrotnie do niej powracał.
Za właściwy początek istnienia obecnej orkiestry należy jednak uznać rok 1954, kiedy powstała Ostrawska Orkiestra Symfoniczna pod kierownictwem Otakara Paříka. Od 1962 roku występowała pod nazwą Państwowa Filharmonia w Ostrawie (kierował nią wówczas Václav Jiráček), a w 1971 roku, pod kierownictwem wieloletniego głównego dyrygenta Otakara Trhlíka, przyjęła obecną nazwę – Filharmonia Janáčka w Ostrawie.
Na współczesny styl wykonawczy orkiestry szczególnie silny wpływ wywarło dwóch wybitnych głównych dyrygentów ostatnich lat – Christian Arming i Theodore Kuchar. Nie można jednak pominąć również Petra Vronskiego.
Profil artystyczny orkiestry kształtowali także wybitni dyrygenci gościnni – V. Neumann, V. Smetáček, J. Bělohlávek, L. Pešek, Z. Mácal, Ch. Mackerras, S. Baudo, H. Rilling, J. Valčuha i M. Jurovskij. Od sezonu 2020/2021 ich pracę kontynuuje obecny główny dyrygent Vassily Sinaisky.
Wśród znakomitych solistów, którzy występowali z ostrawską filharmonią, znaleźli się m.in. J. Suk, A. Navarra, J. Carreras, P. Domingo, D. Pecková, E. Urbanová, J. Calleja, P. Burchuladze, P. Šporcl, I. Ženatý, S. Babayan, D. Ishizaka, K. Gerstein, A. Ghindin i wielu innych.
JFO zajmuje szczególne miejsce wśród czeskich orkiestr pod względem prezentowania muzyki współczesnej, której dzieła często wykonywane są w czeskich premierach. Ogromne zasługi w tym zakresie ma dyrygent i kompozytor Petr Kotík. Legendarny stał się m.in. występ JFO podczas festiwalu Praska Wiosna w 1999 roku w monumentalnym dziele Stockhausena Gruppen na trzy orkiestry.