Aalto-yliopisto

Tekoäly oppi kirjoittamaan puhelimella ihmisen tavoin

Jaa

Tutkijat kehittivät tekoälymallin, joka osaa ennakoida ihmisten silmien ja sormien liikkeet kosketusnäytöllä. Mallin pohjalta voidaan kehittää muun muassa parempia tekstinsyöttöohjelmia ja näppäimistöjä erilaisten käyttäjien tarpeisiin.

Visualisaatio siitä, minne käyttäjä katsoo ja koskettaa kirjoittaessaan lausetta. Vihreä kertoo silmien liikkeistä, sininen sormien. Mitä tummempi sävy, sitä pidempi tai toistuvampi liike kyseisellä alueella. Vasemmalla tekoälymallin simulaatio, oikealla havainnot todelliselta käyttäjältä.
Visualisaatio siitä, minne käyttäjä katsoo ja koskettaa kirjoittaessaan lausetta. Vihreä kertoo silmien liikkeistä, sininen sormien. Mitä tummempi sävy, sitä pidempi tai toistuvampi liike kyseisellä alueella. Vasemmalla tekoälymallin simulaatio, oikealla havainnot todelliselta käyttäjältä.

Kosketusnäytöllä kirjoittaminen eroaa merkittävästi perinteisestä näppäimistöstä, koska se vaatii tarkkaa yhteispeliä silmiltä ja sormilta. Nyt Aalto-yliopiston ja Suomen tekoälykeskus FCAI:n tutkijat ovat luoneet tekoälymallin simuloimaan tätä kirjoittamisen tapaa. Tutkimus, joka esitetään arvostetussa ACM CHI -konferenssissa 12. toukokuuta, luo pohjan muun muassa parempien ja jopa yksilöllisten tekstinsyöttöratkaisujen kehittämiselle.

“Koska meillä nyt on realistinen simulaatio siitä, miten ihmiset kirjoittavat kosketusnäytöllä, jatkossa on huomattavasti helpompi optimoida näppäimistöjä. Tämän seurauksena kirjoitusvirheitä tulee harvemmin, kirjoitusnopeus kasvaa ja, mikä ainakin itselleni tärkeintä, turhautuminen vähenee", työtä vetänyt tutkija Jussi Jokinen selittää.

Tekoälymallille voidaan antaa mikä tahansa lause, ja se simuloi itsenäisesti, miten ihminen kyseisen lauseen millä tahansa valitulla valitulla näppäimistöllä kirjoittaisi. Malli tekee virheitä, huomaa ja korjaa ne, ihan niin kuin ihminenkin tekisi. Simulaatio myös ennustaa, kuinka ihmisen kirjoitustyyli muuttuu uusissa tilanteissa, esimerkiksi uuden tekstinsyöttöohjelman tai erilaisen näppäimistön kanssa.

“Aiemmin kosketusnäytöllä kirjoittamista on ajateltu ennen kaikkea sormien liikkumisen näkökulmasta. Tekoälypohjaiset menetelmät auttavat meitä ymmärtämään ilmiötä paremmin: niiden avulla olemme oppineet, kuinka keskeinen on kirjoittajan päätös siitä, milloin ja minne katsoa. Nyt voimme ennustaa paljon aiempaa tarkemmin, miten ihmiset kirjoittavat puhelimillaan tai tableteillaan", Jokinen sanoo. 

Malli osaa ennustaa ihmisten kirjoittamista paitsi yleisesti, myös käyttäjäryhmittäin. Näin se pystyy ottamaan huomioon esimerkiksi motorisen heikkouden aiheuttamat muutokset kirjoitustyyliin ja auttamaan erilaisten käyttöliittymien ja apuohjelmien kehittelyssä erityisryhmille. Lisäksi mallista voi olla tulevaisuudessa hyötyä räätälöityjen ratkaisujen löytämisessä yksittäisille ihmisille. Esimerkiksi puhelimeen asennetun ohjelman kautta tekoäly voitaisiin laittaa seuraamaan ja jäljittelemään yksittäisen ihmisen kirjoitustyyliä, minkä pohjalta se voisi suositella vaikkapa käyttäjälle parhaiten soveltuvaa näppäimistöä tai virheiden korjausohjelmaa.

Perustuu menetelmään, jolla opetetaan roboteille ongelmanratkaisua

Nyt kehitetyn tekoälymallin taustalla on tutkimusryhmän aiempi empiirinen tutkimus, jonka pohjalta tutkijat rakensivat kognitiivisen mallin ihmisten näppäilystä. Uusi, itsenäisesti kirjoittava malli perustuu tähän työhön, ja se on osa laajempaa Vuorovaikutteisen tekoälyn (Interactive AI) tutkimusohjelmaa Suomen tekoälykeskus FCAI:lla.

Tulokset pohjaavat vahvistusoppimiseen, joka on klassinen koneoppimismenetelmä. Vahvistusoppimista käytetään tyypillisesti silloin, kun halutaan opettaa roboteille ongelmanratkaisua yrityksen ja erehdyksen kautta. Tutkimusryhmä löysi uuden tavan käyttää tätä menetelmää sellaisen toiminnan tuottamiseen, joka on hyvin lähellä ihmisten vastaavaa.

“Annoimme mallille samat kyvyt ja rajat kuin meillä ihmisillä on. Sillä on esimerkiksi simulaatio silmien liikkeestä, minkä ansiosta se näkee sormen sijainnin ja kirjoitetun tekstin. Kerrallaan se ei kuitenkaan näe tarkasti kuin pienen alueen. Kun pyysimme mallia kirjoittamaan tehokkaasti, se etsi parhaan tavan käyttää kykyjään. Lopputulos on hyvin samankaltainen kuin ihmisten kirjoittaminen. Mallia ei siis tarvinnut opettaa ihmisdatalla", Jokinen kertoo.

Vertailu ihmisten kirjoittamisesta kerättyyn dataan on osoittanut mallin ennustukset osuviksi. Jatkossa tutkijat haluaisivat simuloida hitaita ja nopeita kirjoitustekniikoita voidakseen esimerkiksi suunnitella opetussisältöjä ihmisille, jotka haluavat kirjoittaa tehokkaammin.

Tutkimusartikkeli Touchscreen Typing As Optimal Supervisory Control, esitellään 12. toukokuuta 2021 ACM CHI konferenssissa.

Lisämateriaaleja

Katsoaksesi videon lähteestä www.youtube.com, anna hyväksyntä sivun yläosasta.Kosketusnäytöllä kirjoittaminen on haastavaa, koska kirjoittaessa tarvitaan näköaistia niin näppäinten paikantamiseen kuin virheiden tarkistamiseen. Tällä videolla esittelemme neljä vuosien tutkimuksesta noussutta vinkkiä nopeampaan kirjoittamiseen.

Avainsanat

Yhteyshenkilöt

Jussi Jokinen
puh: 045 196 1429
jussi.p.jokinen@helsinki.fi

Kuvat

Visualisaatio siitä, minne käyttäjä katsoo ja koskettaa kirjoittaessaan lausetta. Vihreä kertoo silmien liikkeistä, sininen sormien. Mitä tummempi sävy, sitä pidempi tai toistuvampi liike kyseisellä alueella. Vasemmalla tekoälymallin simulaatio, oikealla havainnot todelliselta käyttäjältä.
Visualisaatio siitä, minne käyttäjä katsoo ja koskettaa kirjoittaessaan lausetta. Vihreä kertoo silmien liikkeistä, sininen sormien. Mitä tummempi sävy, sitä pidempi tai toistuvampi liike kyseisellä alueella. Vasemmalla tekoälymallin simulaatio, oikealla havainnot todelliselta käyttäjältä.
Lataa

Linkit

Tietoja julkaisijasta

Aalto-yliopisto
Aalto-yliopisto
PL 18000
00076 AALTO

09 47001, viestinta@aalto.fihttp://aalto.fi

Aalto-yliopisto. Kohti parempaa maailmaa. Aalto-yliopisto on rohkeiden ajattelijoiden yhteisö, jossa tiede ja taide kohtaavat tekniikan ja talouden. Tunnistamme ja ratkaisemme yhteiskunnan suuria haasteita ja rakennamme innovatiivista tulevaisuutta. Yliopistossa on kuusi korkeakoulua, 12 000 opiskelijaa ja 400 professoria. Kampuksemme sijaitsee Espoon Otaniemessä.

Tilaa tiedotteet sähköpostiisi

Haluatko tietää asioista ensimmäisten joukossa? Kun tilaat mediatiedotteemme, saat ne sähköpostiisi välittömästi julkaisuhetkellä. Tilauksen voit halutessasi perua milloin tahansa.

Lue lisää julkaisijalta Aalto-yliopisto

Uutishuoneessa voit lukea tiedotteitamme ja muuta julkaisemaamme materiaalia. Löydät sieltä niin yhteyshenkilöidemme tiedot kuin vapaasti julkaistavissa olevia kuvia ja videoita. Uutishuoneessa voit nähdä myös sosiaalisen median sisältöjä. Kaikki tiedotepalvelussa julkaistu materiaali on vapaasti median käytettävissä.

Tutustu uutishuoneeseemme