Uusi tekoälymalli simuloi ihmisen lukemista tarkemmin kuin koskaan

Aalto-yliopiston tutkijat ovat yhdessä kansainvälisten kumppaniensa kanssa kehittäneet mallin, joka simuloi ihmisen lukemista tarkemmin kuin mikään aiempi malli. Tutkimus julkaistiin maineikkaassa Nature Human Behaviour -lehdessä maanantaina.

“Ensimmäistä kertaa olemme hyödyntäneet tekoälymenetelmiä sen ymmärtämiseksi – eikä vain matkimiseksi – miten ihmiset lukevat,” professori Antti Oulasvirta Aalto-yliopistosta kertoo.

Aiemmat lukemista kuvaavat mallit on koulutettu näyttämällä niille massoittain tekstinpätkiä ja lukevien ihmisten silmänliikkeistä kerättyä dataa. Tältä pohjalta mallit matkivat ihmisen toimintaa. Ne eivät kuitenkaan pysty ymmärtämään tekstin sisältöä, eikä niiden johtopäätöksiä pysty yleistämään esimerkiksi eri kielille.

Nyt kehitetty malli sen sijaan seurailee logiikkaa, jonka pohjalta teemme valintoja huomion suuntaamisesta lukemisen aikana. Sen avulla päästään käsiksi siihen, miten lukija muodostaa ymmärryksen tekstin sisällöstä.

"Simulaatio antoi meille uuden linssin aivojen toimintaan”, professori Shengdong Zhao City University of Hong Kong -yliopistosta tiivistää.

Resurssirationaalisuus säätelee valintoja

Mallia ohjaa resurssirationaalisuudeksi kutsuttu periaate: lukiessa teemme jatkuvasti päätöksiä siitä, minne katsoa seuraavaksi, jotta ymmärryksemme paranisi mahdollisimman paljon käytettävissä olevan ajan puitteissa. Päätöksiä katseen ohjauksesta tehdään niin sana-, lause- kuin tekstitasoillakin.

Valintoihin vaikuttavat sekä tekstin että lukijan ominaisuudet. Edellisiin kuuluu esimerkiksi tekstin kieli, jälkimmäisiin muun muassa lukijan muistikapasiteetti, silmäliikkeiden nopeus ja niin kutsutun teksti-ikkunan leveys, eli se, montako merkkiä tarkan näön alueelle mahtuu. Näin vaikkapa nopea ja hyvämuistinen lukija voi hyppiä rivakasti tekstikappaleesta seuraavaan, mutta huonomuistinen lukija harhailee useammin taaksepäin.

Tutkijat lisäsivät lukijan ominaisuuksia mallin parametreiksi niin, että niistä jokaisen arvoa pystyttiin tarpeen mukaan säätämään. Sitten he laittoivat mallin itse oppimaan parhaan strategian huomion suuntaamiseen.

“Heitimme mallin maailmaan, jossa on miljoonia tekstejä. Sitten opetimme sen tekoälyä käyttäen optimoimaan silmien siirtelyä niin, että se ymmärtää lukemaansa”, Oulasvirta kertoo.

Malli muodostaa lukemastaan niin kutsutun muistiedustuksen, eli tiivistetyn kuvauksen tekstin sisällöstä. Tämä muistijälki ei ole täydellinen vaan se kertyy niistä sanoista, joita malli on silmäillyt. Kun ratkaiseva sana tai osavirke uupuu, silmä voidaan suunnata keräämään siitä tietoa. Mallin rakentamaa ymmärrystä on mahdollista testata kysymällä, mitä sille oli annetussa ajassa ja annetuilla ominaisuuksilla jäänyt tekstistä mieleen.

Lopulta tutkijat vertasivat mallinsa tekemiä valintoja huomion suuntaamisesta todellisten ihmisten silmänliikedataan. Selvisi, että sen tekemät päätökset tosiaankin mukailivat lukijoiden toimintaa. Käytännössä tutkijoiden siis onnistui rakentaa keskivertolukijaa kuvaava malli, joka pystytään tarvittaessa mukauttamaan erilaisten lukijoiden ominaisuuksiin.

Kohti sovelluksia

Malli avaa ovet sekä erilaisten lukemiskokemuksien ymmärtämiseen että lukemista eri tavoin tukeviin sovelluksiin.

“Voisimme tuottaa samasta pohjatekstistä – esimerkiksi jostain kimurantista lakitekstistä – pienellä vaivalla erilaisille lukijoille ymmärrettäviä versioita”, Oulasvirta kaavailee.

Tutkijat uskovat myös, että malli voi auttaa kehittämään lisätyn todellisuuden sovelluksista entistä parempia. Uusi tieto silmien liikkeistä auttaa esimerkiksi sommittelemaan älylaseissa näkökenttään ilmestyvän tekstin taittoa ja rytmitystä paremmin tilanteen ja lukijan tarpeisiin sopiviksi.

Tutkimuksessa oli mukana Aalto-yliopiston lisäksi tutkijoita The Hong Kong University of Science and Technology- , City University of Hong Kong- ja National University of Singapore -yliopistoista.