Suomalaisen tutkimuksen laadunarviointi arvioinnissa

Yliopistouudistuksen 2010 yhteydessä Suomeen luotiin oma, Norjassa kehitettyyn malliin pohjautuva julkaisujen laatujärjestelmä, julkaisufoorumi eli jufo. Siinä kaikki kansalliselle tieteelle merkittävät julkaisusarjat luokitellaan tasoille 0-3. Nollatasolla ei ole varmuutta akateemisen arvioinnin laadusta, tasolla kolme ovat puolestaan alojensa johtavat julkaisut.

- Jufo-tasot määritellään eri tieteenalan tutkijoista kootuissa paneeleissa ja järjestelmän avoimuutta tuetaan erilaisilla tietokannoilla, kertoo professori Tommi Kärkkäinen Jyväskylän yliopistosta. Kärkkäinen toimii myös tietojenkäsittely- ja informaatiotieteet -paneelin jäsenenä.

Yliopistoissa tuotettujen julkaisujen määrä on kasvanut 15 %:lla vuosina 2011-2018. Vuosien 2015-2018 välisenä aikana määrä on kuitenkin kasvanut vain 2 %, mutta vastaavasti kaikkein korkeimpien, Jufo-tason 3 artikkelien määrä yli 21 %.

- Tutkimuksen laatuohjattu resurssimalli siis tuottaa haluttuja tuloksia tutkimuksen kansainvälisen vaikuttavuuden vahvistamisen ja vahvistumisen näkökulmasta. Suomen tutkimus on jufo-mittarilla mitattuna laadukkaampaa kuin aiemmin, Kärkkäinen kertoo. ​

Uudessa tutkimuksessaan tutkijatohtori Mirka Saarela sekä Kärkkäinen kehittivät malleja, jolla jufo-tasoja voitaisiin määritellä sekä ennustaa. Tutkimus jatkaa neljä vuotta sitten tehtyä tutkimusta, jonka johtopäätöksenä oli mm. se, että korkeimman jufo-tason julkaisusarjat ovat usein sellaisia, missä suomalaiset tutkijat myös julkaisevat keskimääristä aktiivisemmin.

Jatkotutkimuksessa tutkijat sovelsivat Jufo-tason automatisoinnissa sekä viimeisimpiä koneoppimismalleja että niiden toimintaa selittäviä tekniikoita.

- Tuloksemme oli, että olemassa olevan tiedon pohjalta voimme ennustaa asiantuntijapaneelien määrittämiä Jufo-tasoja lähes 90% tarkkuudella. Kuten aiemminkin, olemassa olevasta laatutiedosta ylöspäin poikkeavat Jufo-tasot liittyivät julkaisusarjoihin, jossa suomalaiset tutkijat julkaisevat keskimääräistä enemmän, Kärkkäinen kertoo.

Jufo-tasojen automatisoitu selvittäminen olisi suomalaisille tutkijoille suureksi hyödyksi.

- Automatisointi voi säästää kuluja sekä aikaa maissa, joissa Suomen julkaisufoorumin kaltainen järjestelmä on käytössä, kertoo Mirka Saarela.

Tutkimus olisi myös hyvä olla avoimesti saatavilla. Automatisointi paranee, kun sillä on käytössään mahdollisimman avoin ja laaja tietokanta.

- Tämä auttaisi yksittäisiä tutkijoita ja tutkimusryhmiä, kun julkaisufoorumin tasojen tuntemus paranisi. Tutkijoiden olisi entistä helpompi tietää, milloin ja missä kannattaa julkaista. Myös artikkeleiden lukeminen ja sitä kautta tietoisuus laatutasoista paranisi tämän myötä, Saarela lisää.

Artikkelien julkaisutiedot:

Mirka Saarela, Tommi Kärkkäinen: "Can we automate expert-based journal rankings? Analysis of the Finnish publication indicator", Journal of Informetrics, 14(2), 2020, doi: https://doi.org/10.1016/j.joi.2020.101008

Mirka Saarela, Tommi Kärkkäinen, Tommi Lahtonen, Tuomo Rossi: "Expert-based versus citation-based ranking of scholarly and scientific publication channels". Journal of Informetrics, 10(3), ss. 693-718, 2016, doi:https://doi.org/10.1016/j.joi.2016.03.004