Tekoäly saa meidät yliarvioimaan kognitiiviset kykymme – tutkimus paljastaa käänteisen ylivertaisuusvinouman

Kun ihmiset arvioivat kykyään suoriutua jostain tehtävästä, he ajattelevat usein suoriutuvansa keskivertoa paremmin. Tämä on tyypillistä etenkin heille, jotka pärjäävät muita heikommin kognitiivisissa testeissä. Ilmiötä kutsutaan ylivertaisuusvinoumaksi eli Dunning–Kruger-efektiksi. Keskimääräistä kyvykkäämmät henkilöt ovat taas harvemmin tietoisia omista kyvyistään.

Aalto-yliopiston tutkimus paljastaa kuitenkin nyt, ettei ylivertaisuusvinouma pädekään suurten kielimallien yhteydessä, vaan kaikki ChatGPT:n käyttäjät yliarvioivat oman suorituksensa. Tutkijat havaitsivat jopa käänteisen ylivertaisuusvinouman: omasta mielestään hyvällä tekoälytaidolla varustetut vastaajat arvioivat kykyjään jopa heikommin kuin muut.

“Tekoälyn käyttö saa ylivertaisuusvinouman katoamaan – ja yllättävää kyllä, parempi tekoälylukutaito tekee ihmisistä muita luottavaisempia. Oletimme, että tekoälylukutaitoiset olisivat paitsi parempia vuorovaikutuksessa tekoälyn kanssa, myös parempia arvioimaan suoriutumistaan tekoälyn kanssa. Mutta näin ei ollutkaan”, professori Robin Welsch sanoo.

Tutkimus liittyy kasvavaan joukkoon tutkimustuloksia, joiden mukaan sokea luottamus tekoälyn tarjoamaan sisältöön tuottaa myös riskejä. Kyky arvioida tietoa kriittisesti heikentyy ja siksi myös osaaminen työelämässä voi rapautua.

“Koska tekoälylukutaito on erittäin tärkeää, tämä kehitys on huolestuttavaa. Mutta tekoälylukutaito saattaa olla liian teknistä, jolloin se ei välttämättä ohjaa ihmisiä oikeanlaiseen vuorovaikuttamiseen tekoälyjärjestelmien kanssa”, Welsch sanoo.

“Nykyiset tekoälytyökalut eivät riitä. Ne eivät tue metakognitiota eli ihmisen kykyä arvioida omia ajatusprosessejaan. Ihmiset eivät myöskään opi omista virheistään. Tarvitsemme uudenlaisia alustoja, jotka rohkaisevat käyttäjiä reflektoimaan omaa tekemistään”, sanoo väitöskirjatutkija Daniela da Silva Fernandes.

Artikkeli julkaistiin 27. lokakuuta Computers in Human Behavior -lehdessä.

Yksi kehote ei riitä – tekoäly voisi vaatia perustelemaan ajattelua

Tutkimuksessa 500 osallistujaa käytti tekoälyä loogisen päättelyn tehtävissä, jotka ovat osa yhdysvaltalaisen oikeustieteellisen alan pääsykoetta (LSAT-testiä). Puolet osallistujista käytti tekoälyä, toinen puolikas taas ei. Jokaisen päättelytehtävän jälkeen osallistujien piti arvioida, miten hyvin he pärjäsivät. Heille annettiin lisäpalkkio, jos he onnistuivat arvioimaan onnistumisensa oikein.

“Nämä tehtävät ovat haastavia ja niissä tarvitaan paljon loogista päättelykykyä. Onkin hyvin tyypillistä käyttää tekoälyä juuri tämäntyyppisten tehtävien ratkaisemisessa”, Welsch sanoo.

Tutkimusaineisto paljastaa, että vain harvat käyttivät useampaa kuin yhtä tekoälykehotetta. Useimmiten he vain kopioivat kysymyksen, esittivät sen sellaisenaan ChatGPT:lle ja olivat tyytyväisiä tekoälyn antamaan vastaukseen tarkistamatta tai arvioimatta sitä tarkemmin.

“Tutkimme, kävivätkö ihmiset aitoa vuoropuhelua tekoälyn kanssa – ja havaitsimme, että useimmat käyttäjät luottivat tekoälyyn sokeasti. Kutsumme kognitiiviseksi ulkoistamiseksi tilannetta, jossa tekoäly tekee kaiken päättelyn ihmisen puolesta”, Welsch sanoo.

Vähäinen, vain yhteen kehotteeseen jäänyt vuorovaikutus tekoälyn kanssa saattoi tutkijoiden mukaan rajoittaa niitä vihjeitä, joita tarvittaisiin itseluottamuksen tueksi ja täsmällisemmän itsearvioinnin tekemiseksi. Siksi Welsch on sitä mieltä, että käyttäjiä kannattaa rohkaista – jopa pakottaa – käyttämään useampia kehotteita. Tämä voi parantaa käyttäjien metakognitiota ja palautteen saamista.

“Tekoäly voisi kysyä käyttäjiltä, josko he voisivat selittää ajatteluaan tarkemmin. Se pakottaisi käyttäjät vuorovaikuttamaan enemmän tekoälyn kanssa, jolloin he joutuisivat kohtaamaan osaamistaan koskevat harhaluulot. Se myös lisäisi kriittistä ajattelua”, Fernandes sanoo.

Fernandes tuli Aaltoon vaihto-opiskelijaksi syksyllä 2023, ja jäi tekemään myös diplomityötään. Kesän 2024 jälkeen hän siirtyi kolmivuotiseen tohtoripilottiohjelmaan, ja on yksi ensimmäisistä pilotissa julkaisseista väitöskirjatutkijoista.

Linkki artikkeliin