Tekoälybuumi edellyttää uusia luonnollisten kielten ymmärtämisen mittareita

Aarne Talmanin ajankohtainen tutkimus lisää ymmärrystä siitä mitä on kielen ymmärtäminen, miten kielen ymmärtämistä voidaan mitata ja mitä heikkouksia nykyisillä kielen ymmärtämisen mittareilla on.

Tutkimus mahdollistaa parempien mittarien rakentamisen ja sitä myötä parempien tekoälymallien kehittämisen. se myös mahdollistaa uusien enemmän inhimillisen kielen ymmärtämisen kaltaisten tekoälymallien kehittämisen.

Nykyiset mittarit eivät mittaa tekoälyn kielen ymmärtämistä

Aarne Talmanin mukaan nykyiset mittarit, joita käytetään mittamaan tekoälymallien kykyä ymmärtää kieliä, eivät oikeasti mittaa kielen ymmärtämistä, vaan tekoälymallit pystyvät ratkaisemaan tällaiset testit tukeutumalla muihin aineistoissa oleviin säännönmukaisuuksiin.

Kielen ymmärtämisen mittarien lisäksi Aarne Talman kehitti tutkimuksessaan menetelmiä tekoälymallien kielen ymmärtämisen parantamiseksi.

– Sovelsin ensimmäisenä Stochastic Weight Averaging Gaussian (SWAG) menetelmää kielen ymmärtämisen kontekstissa, Aarne Talman kertoo. – Tämä menetelmä mahdollistaa tekoälymallien kehityksen, joiden kielenymmärryskyky vastaa paremmin inhimillistä epävarmuutta kielen ymmärtämisessä.

Talman myös selkeyttää tutkimuksessaan kielen ymmärtämiseen liittyvää käsitteistöä ja avaa keskustelua siitä, mitä tekoälymalleilta vaaditaan, jotta niiden voidaan sanoa ymmärtävän luonnollista kieltä.

Nykyisiä mittareita on käytetty eri tekoälymallien vertailuun niiden kielen ymmärtämisen kyvykkyyksien osalta.

Talman käsittelee myös laajempaa kysymystä kielen ymmärtämisen luonteesta ja siitä, missä määrin tekoälymallit pystyvät ymmärtämään kieltä.

– Voidaanko siis sanoa, että jokin tekoälymalli oikeasti ymmärtää lukemaansa kieltä vai ei, Talman pohtii.

Tekoälyllä tulee olemaan (ja on jo) suuri merkitys yhteiskunnassamme. Kielen ymmärrys on yksi älykkyyden kulmakiviä.

– Se että pystymme kehittämään tekoälymalleja, jotka ovat parempia ja lähempänä ihmisiä kielen ymmärryksessä on tärkeää. Jotta voimme kehittää parempia kielen ymmärtämisen tekoälymalleja, on meidän ymmärrettävä mitä kielen ymmärtäminen tarkoittaa ja miten sitä voidaan mitata.

Ajankohtainen tutkimus tekoälyn kyvystä ymmärtää luonnollisia kieliä

MSc Aarne Talman väittelee 23.2. klo 13.15 Helsingin yliopiston humanistisessa tiedekunnassa digitaalisten ihmistieteiden osastolla  kielentutkimuksen tohtoriohjelmassa  aiheesta Towards Natural Language Understanding: Developing and Assessing Approaches and Benchmarks. http://urn.fi/URN:ISBN:978-951-51-9581-4

Väitöstilaisuus järjestetään osoitteessa Unioninkatu 33, juhlasali 303. Väitöstilaisuutta voi seurata myös livestreamin  https://www.helsinki.fi/fi/ajankohtaista/tapahtumat 

Yhteystiedot:

aarne.talman@helsinki.fi, 040 871 8712