Tutkijat opettavat tekoälyn kuvailemaan videoita – EU-hankkeessa kehitettävä menetelmä voi mullistaa suurten videokokoelmien käsittelyn
Tammikuussa 2018 alkaneessa EU:n rahoittamassa projektissa kehitetään Aalto-yliopiston uusimpiin kuvan- ja äänenkäsittelyn tutkimustuloksiin perustuva menetelmä audiovisuaalisen aineiston kuvailuun ja luokitteluun. Projektin yhtenä opetusaineistona käytetään Yleltä saatuja videomuotoisia arkistomateriaaleja.
”Menetelmän avulla saadaan automaattisesti tekstikuvaus videon tapahtumista ja puheesta. Vertailemalla menetelmän tuottamaa kuvausta ihmisten tuottamiin kuvauksiin tekoälyjärjestelmä voidaan opettaa parantamaan tuloksiaan”, kertoo projektia koordinoiva Aalto-yliopiston professori Mikko Kurimo.
Automaattista kuvailua on tehty aikaisemmin valokuvista, mutta videon sisällön kuvailu on suhteellisen uusi asia. Uutta menetelmässä on se, että se pystyy yhdistämään sekä puheen että kuvan sisältöä kuvailua tehdessään. Lisäksi menetelmä tuottaa tekstin suoraan halutulle kielelle, jolloin vältetään käännösvirheet.
Audiovisuaalisen sisällön automaattinen kuvaaminen tekstinä mullistaa suurten videokokoelmien käsittelyn esimerkiksi mediayhtiöissä ja mahdollistaa aiemmin tuotetun materiaalin kierrättämisen ja soveltamisen uusiin tarkoituksiin. Lisäksi tekstikuvailu ja siihen perustuva haku helpottavat aineiston löydettävyyttä ja saavutettavuutta sekä suurelle yleisölle että erityisesti heikkokuuloisille ja -näköisille.
”Tekoälyn mahdollistama uudenlainen löydettävyys, saavutettavuus ja henkilökohtainen palvelukokemus ovat jatkossa elintärkeitä menestystekijöitä eurooppalaiselle media-alalle. Sisällön ymmärtäminen on yksi lupaavimmista tekoälyn alueista tällä hetkellä”, sanoo Ylen innovaatiostrategiasta vastaava päällikkö Anssi Komulainen.
EU:n H2020 rahoittaman ”Methods for Managing Audiovisual Data" -projektin kesto on kolme vuotta ja varsinaiset partnerit ovat Aalto-yliopisto, Helsingin yliopisto, Yle, Lingsoft, Limecraft, University of Surrey, EURECOM ja INA. Aalto-yliopistosta signaalinkäsittelyn ja akustiikan laitoksen lisäksi mukana on tietotekniikan laitos. Ylessä MeMAD-yhteistyö on osa Yle Beta -projektia, jonka tavoitteena on rakentaa seuraavan sukupolven mediakokemusta.
Avainsanat
Yhteyshenkilöt
Mikko Kurimo, professori, Aalto-yliopiston signaalinkäsittelyn ja akustiikan laitos
p. 050 347 6221
mikko.kurimo@aalto.fi
Anssi Komulainen, päällikkö, innovaatiostrategia, Yle Beta
p. 0400 129 524
anssi.komulainen@yle.fi
Kuvat
Linkit
Tietoja julkaisijasta
Aalto-yliopistossa tiede ja taide kohtaavat tekniikan ja talouden. Rakennamme kestävää tulevaisuutta saavuttamalla läpimurtoja avainalueillamme ja niiden yhtymäkohdissa. Samalla innostamme tulevaisuuden muutoksentekijöitä ja luomme ratkaisuja maailman suuriin haasteisiin. Yliopistoyhteisöömme kuuluu noin 13 000 opiskelijaa ja yli 4 500 työntekijää, joista 400 on professoreita. Kampuksemme sijaitsee Espoon Otaniemessä.
Tilaa tiedotteet sähköpostiisi
Haluatko tietää asioista ensimmäisten joukossa? Kun tilaat tiedotteemme, saat ne sähköpostiisi välittömästi julkaisuhetkellä. Tilauksen voit halutessasi perua milloin tahansa.
Lue lisää julkaisijalta Aalto-yliopisto
Nimitys: Aalto-yliopiston kehitysjohtajaksi Raili Pönni26.3.2024 16:32:11 EET | Tiedote
Raili Pönni on toiminut aiemmin yliopiston suunnittelupäällikkönä ja väliaikaisena kehitysjohtajana.
Aalto-yliopisto erottui edukseen kansallisissa ja kansainvälisissä arvioinneissa vuonna 202321.3.2024 13:41:01 EET | Tiedote
Aalto-yliopiston hallitus hyväksyi kokouksessaan 19.3.2024 hallituksen toimintakertomuksen ja tilinpäätöksen vuodelta 2023. Vuonna 2023 Aalto-yliopisto erottui edukseen sekä kansallisissa että kansainvälisissä arvioinneissa ja yliopistovertailuissa. Keväällä yliopisto läpäisi Kansallisen koulutuksen arviointikeskuksen (Karvi) toteuttaman laatujärjestelmän auditoinnin ja sai arvion erinomainen kaikilta arviointialueilta. Aalto nousi Suomen ykköseksi kansainvälisen QS-rankingin kokonaisvertailussa ja oli koko maailmassa sijalla 109. Alakohtaisissa vertailuissa taide ja muotoilu oli sijalla 6 maailmassa. Times Higher Education arvioi Aalto-yliopiston maailman 53. kansainvälisimmäksi yliopistoksi ja maailman 40. parhaaksi nuoreksi (alle 50-vuotiaaksi) yliopistoksi. Suomen Akatemian vuosittaisessa Tieteen tila -arvioinnissa Aalto-yliopiston kaikki keskeiset tutkimusalat ylittävät julkaisutoimintansa vaikuttavuudessa top 10 -indikaattorilla arvioituna suomalaisten yliopistojen keskiarvon, ja
Taloustieteilijä: Vesivoiman luonnonvaravero toisi tuloja ja parantaisi ympäristön tilaa13.3.2024 08:45:00 EET | Tiedote
Luonnonvaravero olisi keino ohjata ympäristönsuojelusta aiheutuvia kuluja niin, etteivät ne koituisi yksin sähkönkuluttajien kontolle.
50 vuotta täyttävän radio-observatorion uudet teleskoopit valmistuivat – jatkossa saamme tarkempaa tietoa esimerkiksi aurinkokunnan liikkeestä Linnunradalla7.3.2024 11:30:00 EET | Tiedote
Teleskoopit avaavat uusia mahdollisuuksia monialaiseen avaruustutkimukseen ja -koulutukseen. Opiskelijoille on tarjoutunut ainutlaatuinen mahdollisuus suunnitella ja rakentaa monet teleskooppijärjestelmän keskeiset osat syöttötorvista antennien mekaniikkaan.
Tutkimus: Ihmisen toiminta ajanut maapallon makean veden kierron pois tasapainosta4.3.2024 12:00:00 EET | Tiedote
Ihmisen toiminta on muokannut rajusti makean veden kiertokulkua maailmanlaajuisesti esiteolliseen aikaan verrattuna.
Uutishuoneessa voit lukea tiedotteitamme ja muuta julkaisemaamme materiaalia. Löydät sieltä niin yhteyshenkilöidemme tiedot kuin vapaasti julkaistavissa olevia kuvia ja videoita. Uutishuoneessa voit nähdä myös sosiaalisen median sisältöjä. Kaikki tiedotepalvelussa julkaistu materiaali on vapaasti median käytettävissä.
Tutustu uutishuoneeseemme