Aalto-yliopisto

Tutkijat opettavat tekoälyn kuvailemaan videoita – EU-hankkeessa kehitettävä menetelmä voi mullistaa suurten videokokoelmien käsittelyn

Jaa

Uusi menetelmä yhdistää tekstikuvailuun sekä videolla kuuluvan puheen että kuvan sisällön ja tuottaa tekstin suoraan halutulle kielelle.

Kuvailutulkki poimii videosta tärkeitä yksityiskohtia. Kuvakaappauksessa näkyy myös tyypillisiä nykyaikaisia konekäännösvirheitä. Kuvakaappaus videolta https://www.youtube.com/watch?v=bShnHADOS2Y
Kuvailutulkki poimii videosta tärkeitä yksityiskohtia. Kuvakaappauksessa näkyy myös tyypillisiä nykyaikaisia konekäännösvirheitä. Kuvakaappaus videolta https://www.youtube.com/watch?v=bShnHADOS2Y

Tammikuussa 2018 alkaneessa EU:n rahoittamassa projektissa kehitetään Aalto-yliopiston uusimpiin kuvan- ja äänenkäsittelyn tutkimustuloksiin perustuva menetelmä audiovisuaalisen aineiston kuvailuun ja luokitteluun. Projektin yhtenä opetusaineistona käytetään Yleltä saatuja videomuotoisia arkistomateriaaleja.

”Menetelmän avulla saadaan automaattisesti tekstikuvaus videon tapahtumista ja puheesta. Vertailemalla menetelmän tuottamaa kuvausta ihmisten tuottamiin kuvauksiin tekoälyjärjestelmä voidaan opettaa parantamaan tuloksiaan”, kertoo projektia koordinoiva Aalto-yliopiston professori Mikko Kurimo.

Automaattista kuvailua on tehty aikaisemmin valokuvista, mutta videon sisällön kuvailu on suhteellisen uusi asia. Uutta menetelmässä on se, että se pystyy yhdistämään sekä puheen että kuvan sisältöä kuvailua tehdessään. Lisäksi menetelmä tuottaa tekstin suoraan halutulle kielelle, jolloin vältetään käännösvirheet.

Audiovisuaalisen sisällön automaattinen kuvaaminen tekstinä mullistaa suurten videokokoelmien käsittelyn esimerkiksi mediayhtiöissä ja mahdollistaa aiemmin tuotetun materiaalin kierrättämisen ja soveltamisen uusiin tarkoituksiin. Lisäksi tekstikuvailu ja siihen perustuva haku helpottavat aineiston löydettävyyttä ja saavutettavuutta sekä suurelle yleisölle että erityisesti heikkokuuloisille ja -näköisille.

”Tekoälyn mahdollistama uudenlainen löydettävyys, saavutettavuus ja henkilökohtainen palvelukokemus ovat jatkossa elintärkeitä menestystekijöitä eurooppalaiselle media-alalle. Sisällön ymmärtäminen on yksi lupaavimmista tekoälyn alueista tällä hetkellä”, sanoo Ylen innovaatiostrategiasta vastaava päällikkö Anssi Komulainen.

EU:n H2020 rahoittaman ”Methods for Managing Audiovisual Data" -projektin kesto on kolme vuotta ja varsinaiset partnerit ovat Aalto-yliopisto, Helsingin yliopisto, Yle, Lingsoft, Limecraft, University of Surrey, EURECOM ja INA. Aalto-yliopistosta signaalinkäsittelyn ja akustiikan laitoksen lisäksi mukana on tietotekniikan laitos. Ylessä MeMAD-yhteistyö on osa Yle Beta -projektia, jonka tavoitteena on rakentaa seuraavan sukupolven mediakokemusta.

Avainsanat

Yhteyshenkilöt

Mikko Kurimo, professori, Aalto-yliopiston signaalinkäsittelyn ja akustiikan laitos
p. 050 347 6221
mikko.kurimo@aalto.fi

Anssi Komulainen, päällikkö, innovaatiostrategia, Yle Beta
p. 0400 129 524
anssi.komulainen@yle.fi

Kuvat

Kuvailutulkki poimii videosta tärkeitä yksityiskohtia. Kuvakaappauksessa näkyy myös tyypillisiä nykyaikaisia konekäännösvirheitä. Kuvakaappaus videolta https://www.youtube.com/watch?v=bShnHADOS2Y
Kuvailutulkki poimii videosta tärkeitä yksityiskohtia. Kuvakaappauksessa näkyy myös tyypillisiä nykyaikaisia konekäännösvirheitä. Kuvakaappaus videolta https://www.youtube.com/watch?v=bShnHADOS2Y
Lataa

Linkit

Tietoja julkaisijasta

Aalto-yliopisto
Aalto-yliopisto
PL 18000
00076 AALTO

09 47001, viestinta@aalto.fihttp://aalto.fi

Aalto-yliopisto. Kohti parempaa maailmaa. Aalto-yliopisto on rohkeiden ajattelijoiden yhteisö, jossa tiede ja taide kohtaavat tekniikan ja talouden. Tunnistamme ja ratkaisemme yhteiskunnan suuria haasteita ja rakennamme innovatiivista tulevaisuutta. Yliopistossa on kuusi korkeakoulua, 11 000 opiskelijaa ja 400 professoria. Kampuksemme sijaitsevat Espoossa ja Helsingissä.

Tilaa tiedotteet sähköpostiisi

Haluatko tietää asioista jo ennen kuin ne uutisoidaan? Kun tilaat tiedotteemme, saat ne sähköpostiisi yhtä aikaa suomalaisen median kanssa. Tilauksen voit halutessasi perua milloin tahansa.

Lue lisää julkaisijalta Aalto-yliopisto

Uutishuoneessa voit lukea tiedotteitamme ja muuta julkaisemaamme materiaalia. Löydät sieltä niin yhteyshenkilöidemme tiedot kuin vapaasti julkaistavissa olevia kuvia ja videoita. Uutishuoneessa voit nähdä myös sosiaalisen median sisältöjä. Kaikki STT Infossa julkaistu materiaali on vapaasti median käytettävissä.

Tutustu uutishuoneeseemme