MUSIC: 근육 기반의 정교한 손 제어를 통한 학습

MUSIC: Learning Muscle-Driven Dexterous Hand Control

본 연구에서는 데이터 기반의 물리학 모델을 활용한 근육 기반의 정교한 제어 방법을 제시합니다. 이 방법은 근골격 손이 참조 데이터셋에 포함되지 않은 새로운 음악 작품에 대한 정확한 피아노 연주를 수행할 수 있도록 합니다. 저희의 접근 방식은 고주파 근육 수준 제어와 계층적 아키텍처 내에서의 저주파 잠재 공간 조정을 결합합니다. 저수준에서는 강화 학습을 통해 일반적인 단일 손 정책을 훈련하여 대규모 참조 동작 데이터셋으로부터 얻은 궤적을 추적하는 동안 동적 근육-건 활성화를 생성합니다. 결과적으로 생성된 추적 정책은 변분 오토인코더(VAE) 모델로 증류되어, 저수준 근육 동역학을 추상화하는 부드럽고 구조화된 잠재 공간을 생성합니다. 고수준에서는 특정 음악 악보에서 추출된 음표 이벤트를 기반으로 특정 목표에 따라 양손의 움직임을 조정하여, 참조 데이터 이상의 연주를 생성하기 위한 정책을 훈련합니다. 또한, 정확한 저수준 동작 추적과 다양한 고수준 동작 합성을 지원하는 향상된 근골격 손 모델을 제시합니다. 저희의 접근 방식 제어 파이프라인을 다양한 음악 스타일과 기술적 요구 사항을 포함하는 광범위한 피아노 레퍼토리에 대해 평가했습니다. 결과는 저희의 접근 방식이 정확한 건 누름을 갖춘 조화로운 양손 움직임을 생성할 수 있으며, 물리학 기반의 정교한 제어 분야에서 최고 수준의 피아노 연주 성능을 달성할 수 있음을 보여줍니다. 또한, 저희의 근골격 손 모델이 기존 모델보다 우수한 생체역학적 안정성과 추적 정밀도를 나타내며, 저희의 근골격 손 모델과 근육 기반 제어기가 인간 전기근 활동(EMG) 기록과 일치하는 생리학적으로 타당한 활성화 패턴을 생성할 수 있음을 확인했습니다.

We present a data-driven approach for physics-based, muscle-driven dexterous control that enables musculoskeletal hands to perform precise piano playing for novel pieces of music outside the reference dataset. Our approach combines high-frequency muscle-level control with low-frequency latent-space coordination in a hierarchical architecture. At the low level, general single-hand policies are trained via reinforcement learning to generate dynamic muscle-tendon activations while tracking trajectories from a large reference motion dataset. The resulting tracking policies are then distilled into variational autoencoder (VAE) models, yielding smooth and structured latent spaces that abstract away low-level muscle dynamics. For the high level, we train piece-specific policies to operate in this latent space, coordinating bimanual motions based on specific goals, denoted by note events extracted from given musical scores, to synthesize performances beyond the reference data. In addition, we present an enhanced musculoskeletal hand model that supports fine control of fingers for accurate low-level motion tracking and diverse high-level motion synthesis. We evaluate the control pipeline of our approach on a diverse piano repertoire spanning multiple musical styles and technical demands. Results demonstrate that our approach can synthesize coordinated bimanual motions with accurate key presses, and achieve the state-of-the-art performance of piano playing in physics-based dexterous control. We also show that our musculoskeletal hand model demonstrates superior biomechanical stability and tracking precision compared to the existing model, and validate that our musculoskeletal hand model and muscle-driven controller can generate physiologically plausible activation patterns that align with human electromyography (EMG) recordings.