Sadan tutkimuksen uudelleenanalyysi paljastaa: johtopäätökset riippuvat paljolti tekijästä

Yli 450 riippumatonta tutkijaa eri puolilta maailmaa teki yli 500 uudelleenanalyysia sadasta aiemmin julkaistusta sosiaali- ja käyttäytymistieteellisen tutkimuksen aineistoista. Kaikki analyytikot saivat saman aineiston ja saman keskeisen tutkimuskysymyksen, mutta heille annettiin vapaus toteuttaa analyysi oman asiantuntija-arvionsa perusteella. Tutkimus paljasti, että tieteelliset johtopäätökset voivat muuttua merkittävästi riippuen siitä, kuka analyysin tekee. 

”Tutkijat päätyivät samoihin johtopäätöksiin kuin alkuperäiset kirjoittajat vain joka kolmannen artikkelin kohdalla”, sanoo Aalto-yliopiston data-analyytikko Enrico Glerean. 

Tulokset ovat peräisin laajasta kansainvälisestä yhteistyöstä, jota johtivat Balázs Aczél ja Barnabás Szászi unkarilaisista Eötvös Loránd- ja Corvinus-yliopistoista. TutkimusartikkeliInvestigating the analytical robustness of the social and behavioural sciences on juuri julkaistu Nature-lehdessä. Tutkimus oli myös osa 865 tutkijan Systematizing Confidence in Open Research and Evidence (SCORE) -hanketta. 

”Tutkimus oli valtava ponnistus: sadat ihmiset analysoivat julkaistuja tutkimuksia uudelleen arvioidakseen, kuinka hyvin niiden tulokset pystytään toistamaan”, Glerean sanoo. 

Erot joh­to­pää­tök­sis­sä eivät johdu osaa­mi­sen puut­tees­ta 

Viime vuosikymmenen aikana sosiaali- ja käyttäytymistieteissä on toteutettu merkittäviä uudistuksia, joiden tavoitteena on ollut tehdä tutkimuksesta läpinäkyvämpää, johdonmukaisempaa ja luotettavampaa. Yksi tärkeä kysymys saa kuitenkin yhä enemmän huomiota: missä määrin tutkimustulokset riippuvat siitä, miten aineisto analysoidaan? 

”Tutkimus on usein valintoja yhden analyysipolun puolesta, jossa yhtä aineistoa analysoi yleensä yksi tutkija tai tutkimusryhmä. Mutta on myös muita järkeviä tapoja analysoida aineistoa”, sanoo Aalto-yliopiston apulaisprofessori Christoph Huber. 

Vaikka vertaisarviointi arvioi menetelmien hyväksyttävyyttä, se paljastaa harvoin, millaisia tuloksia olisi voinut syntyä vaihtoehtoisilla, mutta yhtä perustelluilla tilastollisilla ratkaisuilla. 

”Joskus tutkijat eivät ole yksimielisiä siitä, miten tietyn tyyppisiä aineistoja pitäisi alun perinkään analysoida. Joskus taas kyseiset ilmiöt eivät tarjoa vain yhtä ainoaa tulkintaa”, Glerean sanoo. 

Empiirinen tutkimus sisältää lukuisia päätöksiä: miten aineisto puhdistetaan, miten muuttujat määritellään, mitä tilastollisia malleja tai ohjelmistoja käytetään ja miten tuloksia tulkitaan. Nämä valinnat voivat perustavalla tavalla vaikuttaa lopullisiin johtopäätöksiin. 

”Ehkä monet tutkimustulokset perustuvat valintoihin, jotka eivät itse asiassa kestä tarkempaa tarkastelua. On syytä katsoa tarkemmin ja pohtia uudelleen, miten tiedettä tehdään. Toivottavasti tämä johtaa siihen, että tulokset ovat tulevaisuudessa entistä uskottavampia”, Huber sanoo. 

Erot johtopäätöksissä eivät johdu osaamisen puutteesta. Kokeneet tutkijat, joilla on vahva tilastollinen tausta, päätyivät yhtä lailla toisistaan poikkeaviin tuloksiin kuin muutkin. Samalla havaintoaineistoihin perustuvat tutkimukset osoittautuivat vähemmän vankoiksi kuin kokeelliset tutkimukset. 

”Itse analysoin uudelleen kokeellista tutkimusta, ja päädyin täsmälleen samoihin tuloksiin. Tämä voi johtua siitä, että kokeellinen data jättää vähemmän tilaa analyysiin perustuville avoimille johtopäätöksille”, Huber kertoo. 

Ihmisiä tarvitaan jatkossakin enemmän kuin koneita 

Yksi tapa lisätä tutkimustulosten luotettavuutta on monen tutkijan tekemä analyysi, jossa samaa aineistoa analysoidaan eri tiimeissä erilaisilla menetelmällisillä valinnoilla sen sijaan, että luotettaisiin yhteen tiimiin ja yhteen analyysivalintojen joukkoon. 

”Tällaisen analyysin avulla voidaan nähdä, mitkä tulokset ovat menetelmistä riippumatta kestäviä. Tämä tarkoittaa myös, että tieteen sosiaalinen ulottuvuus korostuu entisestään: tutkijat keskustelevat erilaisista lähestymistavoista ja haastavat toisiaan”, Glerean sanoo. 

Glerean huomauttaa myös, että suosituilla generatiivisen tekoälyn työkaluilla on yhä suurempi vaikutus kaikkeen, ja se on usein koulutettu valtavalla määrällä vanhaa materiaalia. Tämä tarkoittaa, että se perustuu myös tuloksiin, joiden on sittemmin osoitettu olevan ei-toistettavia, harhaanjohtavia tai yksinkertaisesti vääriä. 

”Tiede kehittyy nopeammin ja korjaa itseään paremmin kuin suuret kielimallit, jotka on koulutettu lähes kaikella kirjoitetulla materiaalilla. Tarvitsemme edelleen ihmisiä enemmän kuin koneita, kun haluamme tietää, mikä on paras selitys jollekin ilmiölle,” Glerean sanoo.