Vihapuhetta tunnistavat tekoälyt menevät sekaisin ”rakkaudesta”
Tutkijat osoittivat, että sosiaalisessa mediassa ja verkkopalveluissa käytettävät vihapuheentunnistimet ovat helposti ihmisten huijattavissa.

Vihapuheen ja loukkaavan kommentoinnin määrä verkossa vain kasvaa. Sen hillitsemiseksi tarvitaan automaattisia työkaluja, jotka tunnistavat verkkopalvelujen sääntöjen vastaisen tai jopa laittoman sisällön.
Nyt Aalto-yliopiston Secure Systems -tutkimusryhmä on kuitenkin löytänyt parhaistakin koneoppimiseen perustuvista vihapuheentunnistimista merkittäviä heikkouksia. Käyttäjien on yllättävän helppo kiertää vihapuheen suitsemiseen kehitettyjä tekoälytyökaluja. Tarkoituksellinen tai tahaton huono kielioppi ja kirjoitusvirheet voivat tehdä vihanlietsonnasta ja loukkauksista tekoälylle vaikeita tunnistaa.
Ryhmä kokeili seitsemän uuden tunnistamistyökalun tarkkuutta. Kaikki reputtivat testit.
Nykyaikaiset luonnollisen kielen prosessointiin käytetyt mallit pystyvät luokittelemaan tekstiä merkkien, sanojen ja lauseiden piirteiden perusteella. Kun mallit joutuvat analysoimaan tekstidataa, jollaista ei ole käytetty niiden opettamiseen, tulosten laatu alkaa kärsiä.
”Lisäsimme vihapuheeksi tai loukkaavaksi määriteltyjen kommenttien sekaan kirjoitusvirheitä, muokkasimme sanojen rajoja tai lisäsimme joukkoon neutraaleja sanoja. Välilyöntien poistaminen sanojen välistä osoittautui englanninkielisen sisällön manipuloinnissa tehokkaimmaksi. Kaikkia keinoja yhdistelemällä saimme jopa Googlen kommenttien arvottamiseen käyttämän Perspective-työkalun sekaisin”, kertoo Tommi Gröndahl, Aalto-yliopiston tohtorikoulutettava.
Google Perspective luokittelee kommenttien loukkaavuutta tai ”toksisuutta” eri tekstianalyysin menetelmien avulla. Vuonna 2017 Washingtonin yliopiston tutkijat osoittivat, että Perspectiveä voi kuitenkin huijata lisäämällä tekstiin pieniä kirjoitusvirheitä.
Gröndahl havaitsi kollegoineen, että Perspective on sittemmin oppinut tunnistamaan myös kirjoitusvirheet, mutta se on edelleen huijattavissa muunlaisella manipuloinnilla, esimerkiksi poistamalla välilyöntejä ja lisäämällä harmittomia sanoja, kuten love, ’rakkaus’.
Perspectiven ja monen muun edistyneen vihapuheentunnistimen seulan läpäisi esimerkiksi lause ”I hate you” (”minä vihaan sinua”), kun se muokattiin muotoon ”Ihateyou love”.
Tutkijat huomauttavat, että asiayhteys määrittää pitkälti sen, tulkitaanko yksittäinen kommentti vihaksi vai vain asiattomaksi tai mauttomaksi. Vihapuhe on subjektiivista ja kontekstisidonnaista, ja tutkijoiden mukaan pelkät koneelliset tekstianalyysimenetelmät eivät riitä sen tarkkaan tunnistamiseen.
”Ihmiset muuttavat toimintaansa ja alkavat kokeilla eri tapoja kirjoittaa, koska he haluavat välttää kiinnijäämistä. Ollakseen tehokas tekoäly tarvitsee avukseen ihmisen tekemää tulkintaa”, uskoo tutkimusryhmän johtaja, Aalto-yliopiston professori N. Asokan.
Tekstiä analysoivien koneoppimismallien kehittämisessä tulisi tutkijoiden mukaan kiinnittää huomiota mallien opettamiseen käytettävän datan laatuun ja monipuolisuuteen, eikä niinkään mallien rakenteiden hiomiseen.
Ryhmän tulokset osoittavat myös, että vihapuheentunnistimet voisivat olla nykyistä tarkempia, jos ne analysoisivat tekstiä yksittäisten merkkien ja niiden yhdistelmien tasolla. Lisäksi kommenttien kontekstin luokittelua pitäisi saada hienovaraisemmaksi, jotta mallit osaisivat erottaa toisistaan esimerkiksi rasismin, seksismin ja henkilökohtaiset hyökkäykset.
Tutkimus tehtiin yhteistyössä Aalto-yliopiston Secure Systems -ryhmän ja Padovan yliopiston tutkijoiden kanssa. Tulokset esitellään lokakuussa ACM AISec -konferenssissa Torontossa.
Ryhmän artikkeli ”All You Need is "Love": Evading Hate-speech Detection” on osa Aalto-yliopiston Secure Systems -ryhmän projektia, joka tutkii tekstianalyysin keinoin valheellisen tai vilpillisen sisällön tunnistamista verkossa.
Tutkimusartikkeli:
Tommi Gröndahl, Luca Pajola, Mika Juuti, Mauro Conti, N.Asokan:
All You Need is "Love": Evading Hate-speech Detection.
https://arxiv.org/abs/1808.09115
Avainsanat
Yhteyshenkilöt
Tommi Gröndahl, tohtorikoulutettava
Aalto-yliopisto
Secure Systems -ryhmä
tommi.grondahl@aalto.fi
puh. 0400 426 523
N. Asokan, professori
Aalto-yliopisto
Secure Systems -ryhmä
n.asokan@aalto.fi
puh. 050 483 6465
Kuvat

Linkit
Tietoja julkaisijasta
Aalto-yliopistossa tiede ja taide kohtaavat tekniikan ja talouden. Rakennamme kestävää tulevaisuutta saavuttamalla läpimurtoja avainalueillamme ja niiden yhtymäkohdissa. Samalla innostamme tulevaisuuden muutoksentekijöitä ja luomme ratkaisuja maailman suuriin haasteisiin. Yliopistoyhteisöömme kuuluu 12 000 opiskelijaa ja yli 4000 työntekijää, joista 400 on professoreita. Kampuksemme sijaitsee Espoon Otaniemessä.
Tilaa tiedotteet sähköpostiisi
Haluatko tietää asioista ensimmäisten joukossa? Kun tilaat tiedotteemme, saat ne sähköpostiisi välittömästi julkaisuhetkellä. Tilauksen voit halutessasi perua milloin tahansa.
Lue lisää julkaisijalta Aalto-yliopisto
Mitä koirien ja kissojen aivoissa tapahtuu? Uusi kuvantamismenetelmä selvittää lemmikkien mielen saloja20.6.2022 10:05:21 EEST | Tiedote
Kvanttioptisiin antureihin perustuva aivokuvantamislaite avaa uusia mahdollisuuksia myös ihmisvauvojen aivojen tutkimiseen.
TILAISUUS PERUUTETTU: Mediakutsu: Mitä kvanttiteknologiassa tapahtuu juuri nyt? Vielä ehdit mukaan kvanttikahveille 16. kesäkuuta!13.6.2022 08:32:55 EEST | Tiedote
Kvanttikahveilla voit kysyä alan huipuilta mitä vain kvanttiteknologiasta. Kvanttikahveilla on paikalla useita tutkijoita, joiden erikoisaloja ovat muun muassa kvanttilaskenta, kubitit, kvanttimateriaalit, aivomittaukset ja kvanttivalonlähteet.
Ikuinen liike on mahdollista – Aalto-yliopiston Kylmälaboratoriossa havainnoitiin kahden fysiikan lait haastavan aikakiteen välistä vuorovaikutusta10.6.2022 12:35:47 EEST | Tiedote
Aikakiteet ovat aineen olomuoto, jossa hiukkaset liikkuvat ikuisesti toistuvassa rytmissä ilman ulkopuolista energiaa. Tutkijat onnistuivat luomaan Aalto-yliopiston Kylmälaboratoriossa kaksi aikakidettä ja tarkkailemaan niiden välistä vuorovaikutusta. Tulevaisuudessa aikakiteitä voi hyödyntää erilaisissa laitteissa, kuten kvanttitietokoneiden muistina.
Kannettava ja nopea analysointityökalu voi mullistaa kipulääkkeiden diagnostiikkamarkkinat8.6.2022 12:13:33 EEST | Tiedote
Aalto-yliopistosta ponnistanut startup-yritys Fepod Oy Ltd on kehittänyt diagnoosimenetelmän, jolla veren kipulääkepitoisuus voidaan selvittää nopeasti ja edullisesti suoraan hoitopaikalla. Yritys sai juuri Almaral Oy:ltä 750 000 euron siemenrahoituksen kliinisten tutkimusten jatkamiseen sekä sensoriteknologian ja ohjelmistoalustan kehittämiseen.
Suomi 100 -satelliitti teki sen, mihin aiemmin pystyivät vain paljon suuremmat: kuvasi ja tutki revontulia8.6.2022 07:14:29 EEST | Tiedote
Revontulialueen tutkiminen auttaa esimerkiksi turvallisten tietoliikenneyhteyksien kehittämisessä.
Uutishuoneessa voit lukea tiedotteitamme ja muuta julkaisemaamme materiaalia. Löydät sieltä niin yhteyshenkilöidemme tiedot kuin vapaasti julkaistavissa olevia kuvia ja videoita. Uutishuoneessa voit nähdä myös sosiaalisen median sisältöjä. Kaikki tiedotepalvelussa julkaistu materiaali on vapaasti median käytettävissä.
Tutustu uutishuoneeseemme