Jyväskylän yliopiston Monitieteisen musiikintutkimuksen keskuksen tutkijat käyttivät liikekaappausteknologiaa - samanlaista, jota käytetään esimerkiksi Hollywoodin elokuvatuotannossa – selvittääkseen miten ja miksi musiikki vaikuttaa meihin siten kuin se vaikuttaa. He ovat huomanneet, että tanssityyli kertoo tanssijasta paljon, muun muassa sen, kuinka ekstrovertti tai neuroottinen hän on, missä mielentilassa hän on, tai jopa kuinka empaattinen hän on.

Hiljattain he havaitsivat yllättävän tuloksen. "Emme itse asiassa odottaneet tätä tulosta, koska tutkimuksen kohde oli toisenlainen," kertoo FT Emily Carlson. "Alkuperäinen ideamme oli selvittää, voidaanko koneoppimisen avulla tunnistaa, mitä musiikkityyliä koehenkilöt tanssivat."

Tutkimuksen 73 koehenkilön liike mitattiin kun he tanssivat kahdeksaa eri genreä edustavien kappaleiden tahdissa: Blues, Country, Dance/Electronica, Jazz, Metal, Pop, Reggae ja Rap. Ainoa ohje, joka heille annettiin, oli liikkua musiikin tahdissa siten kuin heistä tuntuu luonnolliselta. "Käytämme tutkimuksissamme usein tällaista luonnollista menetelmää, koska mielestämme on tärkeää tutkia ilmiöitä siten kuin ne esiintyvät reaalimaailmassa," toteaa professori Petri Toiviainen.

Tutkijat analysoivat koehenkilöiden tanssiliikkeitä koneoppimisen avulla yrittäen tunnistaa eri musiikkigenret. Tietokonealgoritmi pystyi tunnistamaan oikean genren vain 30 prosentin tarkkuudella. Yllätyksekseen he kuitenkin huomasivat, että tietokone pystyi tunnistamaan tanssijan oikein 94 prosentissa tapauksista – satunnaisesti arvaten tunnistustarkkuus olisi alle 2 %. "Tanssityyli näyttäisi olevan eräänlainen sormenjälki," sanoo FT Pasi Saari, tutkimuksen koneoppimisosuudesta vastannut tekijä. "Kullakin meistä on omaleimaiset liikekuviot, jotka säilyvät jokseenkin samoina riippumatta siitä, minkälainen musiikki soi."

Joillakin genreillä oli kuitenkin suurempi vaikutus tanssijoiden liikkeeseen kuin muilla. Tietokonemalli pystyi esimerkiksi tunnistamaan tanssijan huonommin kun tämä tanssi metallimusiikin tahdissa. "Metallimusiikkiin liitetään usein tietynlaisia liikekuvioita, kuten esimerkiksi moshaus (headbanging)," sanoo Emily Carlson. "Metallimusiikki todennäköisesti synnytti tanssijoissa samankaltaista liikehdintää, minkä takia heitä oli vaikeampi erottaa toisistaan."

Tarkoittaako tämä sitä, että kasvontunnistusta tullaan piakkoin täydentämään tanssintunnistusteknologialla? "Olemme vähemmän kiinnostuneita valvontasovelluksista kuin siitä, mitä nämä tulokset kertovat ihmisen musikaalisuudesta," Carlson selittää. "Meillä on monia uusia kysymyksiä, kuten se, säilyvätkö tanssikuviomme samanlaisina elämänkaaren ajan, minkälaisia ovat kulttuurien väliset erot, ja pystyvätkö ihmiset tunnistamaan henkilöitä tanssityylin perusteella yhtä hyvin kuin tietokone. Suurin osa tutkimuksesta itse asiassa herättää enemmän kysymyksiä kuin antaa vastauksia," hän toteaa, "ja tämä tutkimus ei ole poikkeus."

Yhteystiedot:

Emily Carlson, emily.j.carlson@jyu.fi, puh. 040 805 4323, Musiikin, taiteen ja kulttuurin tutkimuksen laitos, Jyväskylän yliopisto

Petri Toiviainen, petri.toiviainen@jyu.fi, puh. 050 354 1753, Musiikin, taiteen ja kulttuurin tutkimuksen laitos, Jyväskylän yliopisto

Julkaisutieto:

Carlson, E., Saari, P., Burger, B., Toiviainen, P. (2019) Dance to your own drum: Identification of musical genre and individual dancer from motion capture using machine learning. Journal of New Music Research, 48, https://doi.org/10.1080/09298215.2020.1711778