Music2Dance: Wie wir versucht haben zu tanzen

Hallo zusammen! Mein Name ist Vladislav Mosin und ich bin ein Student des Bachelor-Studiengangs für Angewandte Mathematik und Informatik an der HSE in St. Petersburg im 4. Jahr . Letzten Sommer habe ich zusammen mit Alina Pleshkova, einer Doktorandin unserer Fakultät, ein Praktikum bei JetBrains Research absolviert. Wir haben am Music2Dance-Projekt gearbeitet, dessen Ziel es ist, zu lernen, wie man Tanzbewegungen erzeugt, die zur gegebenen Musik passen. Dies kann zum Beispiel zum Selbststudium des Tanzens verwendet werden: Ich habe die Musik gehört, die Anwendung gestartet und Bewegungen gezeigt, die sich harmonisch mit dieser Musik verbinden.

Mit Blick auf die Zukunft werde ich sagen, dass sich unsere Ergebnisse leider als weit entfernt von den besten Modellen der Bewegungserzeugung erwiesen haben, die es derzeit gibt. Aber wenn Sie auch daran interessiert sind, dieses Problem zu lösen, lade ich Sie unter Katze ein. 

. , — Dance Dance Revolution, , . — 2D-. 

C — 3D- . . 2020 DanceNet, . .

: , , . .

: onset, beats, chroma

, — — . , , , . , onset, beats chroma ( , ).

:  

. — — . , , , -. , (, 240x240) . 

, . , . , , , , . 

( ), .

. , 3D-, : , . , , . : , .

DanceNet

DanceNet coc : 

• ;

  
  
  
  
  

• ;

  
  
  
  
  

• ;

  
  
  
  
  

• ;

  
  
  
  
  

• .

  
  
  
  
  

:

1. . Bi-LSTM .

   
   
   
   
   

2. . , Bi-LSTM .

   
   
   
   
   

3. - . .

   
   
   
   
   

4. . , . dilated () -.

   
   
   
   
   

DanceNet , , — , , .

, , . , . , , , . . , .

:

• 
  
  
  
  

• (DanceNet)

  
  
  
  
  

• (RL )

  
  
  
  
  

• 
  
  
  
  

. 2020 , . , , . , . , - . , : YouTube VIBE.

DanceNet

— , -, , -, .

RL

RL — , . ( ) , . 

. : .

, Q-Learning ( TD3, ) ( PPO). 

, . -, , . , , , . Humanoid, , .

, , .

S — , S_real — , R — .

, , , . , . .

, , DanceNet. , , , , . . , — YouTube , RL .

. !

---

:

• 10 BERT- ?

  
  
  
  
  

• ! Gym-Duckietown

  
  
  
  
  

• Google: ,

  
  
  
  
  

---