Tutkijat kehittivät yleisöaaltoon perustuvan tavan ohjata tanssia virtuaalitodellisuudessa

Aalto-yliopiston tutkijat ovat halunneet kehittää toimivan ratkaisun tanssikoreografian ohjaamiseksi virtuaalitodellisuudessa. Aikaisemmat tekniikat kun ovat perustuneet pitkälti etukäteisharjoitteluun ja yksinkertaistamiseen.

”Virtuaalitodellisuudessa on vaikea visualisoida ja viestiä, miten tanssijan pitäisi liikkua. Ihmisen keho on niin moniulotteinen, ja rikas data on vaikea ottaa sisään reaaliajassa”, sanoo professori Perttu Hämäläinen.

Tutkijat kokeilivat aluksi aiemmista tanssipeleistä tuttuja visualisointikeinoja. Useiden prototyyppien ja vaiheiden jälkeen he päätyivät kuitenkin kokeilemaan urheilutapahtumista tuttua yleisöaaltoa tanssin ohjauksessa.

”Mallitanssijoiden aaltomaisen liikkeen avulla voi nähdä jo etukäteen, minkälainen liike on seuraavaksi tulossa. Eikä liikettä tarvitse harjoitella etukäteen”, sanoo väitöskirjatutkija Markus Laattala.

Yleensä uusien liikkeiden ohjausta ei pysty seuraamaan täysin reaaliajassa, koska ihmisen havaintomotoriikassa on viivettä. Tutkijoiden kehittämä WAVE-tekniikka taas perustuu tulevan liikkeen, esimerkiksi käännöksen ennakointiin.

”Kukaan ei ollut keksinyt, miten nykytanssin kaltaista jatkuvaa, sulavaa liikettä voisi opastaa. Meidän toteuttamassamme koreografiassa aallon tekeminen on kommunikointia, eräänlainen mikrokaanon, jossa mallitanssijat seuraavat samaa koreografiaa sekunnin murto-osan viiveellä”, Hämäläinen sanoo.

Tutkijat esittelevät WAVE-tekniikan Havaijilla toukokuussa järjestettävässä CHI2024-konferenssissa, joka on tärkein ihmisen ja tietokoneen väliseen vuorovaikutukseen keskittyvä konferenssi maailmassa.

Taijista liikkeiden liioitteluun

Minuutin mittaiseen tanssitestiin osallistui kaikkiaan 36 ihmistä. Vertailtavassa virtuaaliversiossa oli vain yksi mallitanssija, jota seurata. Erot toteutusten välillä olivat selkeät.

”Tämä toteutus sopii ainakin rauhallisempiin tanssityyleihin. Tanssija voi vain hypätä sisään ja alkaa tanssia ilman, että täytyy opetella mitään etukäteen. Nopeammissa liikkeissä visuaalisuus voi kuitenkin mennä sekavaksi”, Hämäläinen kertoo.

Uutta tekniikkaa voi soveltaa virtuaalitanssipelien lisäksi musiikkivideoihin, karaokeen ja taijiin, kunhan liike on rauhallista, sulavaa ja jatkuvaa.

”Tanssijan kannalta olisi optimaalista, jos hän saisi itse päättää, miten asettelee mallitanssijat itselleen sopivaan muotoon. Ja jos idean veisi pidemmälle, useat tanssijat voisivat lähettää toisilleen virtuaalitodellisuudessa liikkeitä. Siitä voisi muodostua jokin ihan uusi tapa tanssia yhdessä”, Laattala sanoo.

”Laitteet toimivat niin, että vain kypärässä on kamerat. Toisaalta koneoppimisdatasta voidaan joskus päätellä, miten jalat liikkuvat”, Hämäläinen sanoo.

”Mutta tanssissa päättely on vaikeampaa, koska liikkeet ovat kummallisempia kuin esimerkiksi kävely”, lisää Laattala.

Toisaalta jos oikeassa tanssitilassa on peili, jalkojen liikettä voi seurata konenäön avulla. Virtuaalisen peilin avulla taas voisi muokata tanssijan näkymää.

”Tanssijan suoritusta voi parantaa liioittelun avulla, esimerkiksi lisäämällä notkeutta, hyppyjen korkeutta tai lantion liikettä. Näin heidät voisi saada kokemaan, että he ovat taitavampia kuin ovatkaan, millä on tutkimusten mukaan positiivinen vaikutus liikuntamotivaatioon”, Hämäläinen kertoo.

Virtuaalitanssipelin kehittämiseksi on hyödynnetty Magics-infrastruktuurin liikekaappaussettiä, jossa mallitanssijan päälle on puettu puku ja anturit. Niiden avulla tanssianimaatio on pystytty tallentamaan.

Video virtuaalitodellisuuden tanssiohjauksesta

WAVE-tanssipelin voi ladata Meta Quest 2 ja 3 -virtuaalilaseille tästä linkistä. Sieltä löytyy myös lähdekoodi, jotta kuka tahansa voi kehittää peliä eteenpäin.