Kone ennustaa ajatuksesi ja luo niistä kuvia

Helsingin yliopiston tutkijat ovat kehittäneet menetelmän, jossa tietokone saadaan mallintamaan kuvien piirteitä tarkkailemalla ihmisen aivotoimintaa. Kone ikään kuin yrittää kuvitella, mitä ihminen ajattelee. Kuvittelunsa tuloksena kone myös kykenee luomaan kokonaan uutta informaatiota, kuten kuvia, joita ei ollut aikaisemmin olemassa.

Menetelmä perustuu uuteen aivojen ja tietokoneen toimintaa yhdistävään käyttöliittymään. Aiemmin vastaavat käyttöliittymät ovat onnistuneet yksisuuntaisessa kommunikaatiossa, kuten tuottamaan ihmisen ajatusten perusteella esimerkiksi yksittäisiä kirjaimia tai liikuttamaan kursoria.

Nyt julkaistu tutkimus on tiettävästi ensimmäinen, jossa sekä koneen esitystä informaatiosta että aivojen toimintaa voitiin mallintaa samanaikaisesti. Tässä hyödynnettiin tekoälyä. Ihmisen aivovasteen ja generoivan neuroverkon vuorovaikutuksessa voitiin luoda kuvia, jotka monilta osin vastasivat ihmisen kuvittelemaa kuvaa.

Tutkimus julkaistiin Scientific Reports -tiedelehdessä syyskuussa. Scientific Reports on monitieteinen avoimen julkaisun alusta Nature-lehden julkaisijoilta.

Kone muokkasi arvaustaan kokeen edetessä

Tutkijat kutsuvat menetelmäänsä neuroadaptiiviseksi luovaksi mallintamiseksi. Tutkimukseen osallistui 31 vapaaehtoista, jotka kytkettiin aivosähkökäyrää mittaaviin EEG-laitteisiin (elektroenkefalografia). Tutkittaville näytettiin tietokoneen ruudulta tekoälyn luomia, eri näköisten ihmisten kasvoja.

Koehenkilöitä pyydettiin keskittymään tietynlaisiin piirteisiin, kuten vanhoilta näyttäviin tai hymyilevin kasvoihin. Samalla kun koehenkilöt katselivat vaihtuvia kasvokuvia, heidän aivosähkökäyränsä syötettiin neuroverkkoon, joka päätteli, minkälaisia kasvoja tutkittava oli etsinyt.

Neuroverkko muokkasi arvaustaan kokeen edetessä. Lopulta koneen ennuste esitettiin neuroverkon luomina uusina kasvokuvina, ja osallistujat arvioivat niiden paikkansapitävyyden. Uudet kuvat vastasivat osallistujien tavoitteita 83 prosentin tarkkuudella.

– Tässä yhdistyvät ihmisen luontaiset reaktiot ja koneen kyky luoda uutta. Ihminen voi vain katsoa ja reagoida kuviin. Tietokone mallintaa näyttämänsä kuvat ja ennustaa käyttäjän tavoitteen, kuten hymyilevät kasvot, aivovasteesta automaattisesti. Tämän perusteella kone voi luoda täysin uuden kuvan, joka vastaa käyttäjän tavoitetta, kertoo Helsingin yliopiston akatemiatutkija ja Kööpenhaminan yliopiston apulaisprofessori Tuukka Ruotsalo.

Piilevät asenteet voivat paljastua

Ihmiskasvojen generointi on vain yksi esimerkki siitä, mihin menetelmää voi käyttää. Tutkimuksen käytännön hyöty voi olla se, että kone voi tukea ihmisen omaa luovuutta.

– Jos esimerkiksi haluaisit piirtää tai kuvittaa jotakin, mutta et osaa tehdä sitä itse, kone voisi tehdä sen puolestasi. Se voisi vain tarkkailla, mihin kiinnität huomiota ja mitä mahdollisesti haluaisit saada aikaan, Ruotsalo kertoo.

Tutkijat uskovat, että tekniikkaa voi käyttää ihmisen havainnointikyvyn ja mielen sisäisten prosessien ymmärtämiseen.

– Menetelmä ei tunnista ajatuksia, vaan reagoi mielleyhtymiin, joita liitämme erityyppisiin kuviin. Emme saa tietää, ketä vanhaa ihmistä tutkittava ajatteli, mutta saamme käsityksen siitä, mitä piirteitä hän liittää vanhuuteen. Uskomme, että menetelmämme antaa osviittaa siitä, kuinka voimme ylipäätään mallintaa sosiaalisia, kognitiivisia ja tunteisiin liittyviä prosesseja, kertoo vanhempi tutkija Michiel Spapé.

Spapén mukaan tämä on myös psykologisessa mielessä kiehtovaa.

– Yhden ihmisen ajatus vanhasta ihmisestä voi olla erilainen kuin toisella. Nyt selvitämme, pystyykö menetelmämme paljastamaan piileviä mielleyhtymiä. Tämä voi paljastua, jos tietokone hahmottaa vanhan ihmisen aina esimerkiksi hymyilevinä miehinä.

Julkaisu:
Kangassalo, Lauri, Spapé, Michiel, and Ruotsalo, Tuukka. Neuroadaptive modelling for generating images matching perceptual categories. Scientific Reports 10, 14719 (2020). https://doi.org/10.1038/s41598-020-71287-1