Stage Light is Sequence$^2$: 모방 학습을 통한 다중 조명 제어

Stage Light is Sequence$^2$: Multi-Light Control via Imitation Learning

음악 기반 자동 무대 조명 제어(ASLC)는 전문 조명 엔지니어를 고용하고 훈련하는 데 드는 상당한 시간과 비용으로 인해 최근 몇 년 동안 많은 관심을 받고 있습니다. 그러나 기존 방법은 해석 가능성이 낮은 규칙 기반 접근 방식, 음악-색상 공간 방법의 단일 주조명 제어 제한, 그리고 음악-제어 파라미터 프레임워크의 제한적인 일반화 가능성과 같은 몇 가지 중요한 한계를 가지고 있습니다. 이러한 격차를 해소하기 위해, 우리는 음악을 다중 조명의 Hue-Saturation-Value (HSV) 공간에 매핑하는 계층적 딥 러닝 프레임워크인 SeqLight를 제안합니다. 우리의 접근 방식은 먼저, 엔드 투 엔드 단일 주조명 생성 모델인 SkipBART를 각 프레임에 대한 전체 조명 색상 분포를 예측하도록 맞춤화하고, 이후 하이브리드 모방 학습(IL) 기술을 사용하여 글로벌 색상 분포를 개별 조명으로 분산시키는 효과적인 분해 전략을 도출합니다. 주목할 점은, 조명 분해 모듈이 다양한 장소별 조명 구성 하에서, 전문적인 시연 없이 혼합된 조명 데이터만 사용하여 훈련될 수 있으므로, 다양한 장소에 유연하게 적용할 수 있습니다. 이 단계에서, 우리는 조명 분해 작업을 Goal-Conditioned Markov Decision Process (GCMDP)로 정의하고, Hindsight Experience Replay (HER)에서 영감을 받은 전문가 시연 데이터 세트를 구성하며, 세 단계로 구성된 IL 훈련 파이프라인을 도입하여 강력한 일반화 능력을 달성합니다. 제안된 GCMDP를 위한 우리의 IL 솔루션을 검증하기 위해, 우리는 일련의 정량적 분석과 사용자 연구를 수행했습니다. 코드와 훈련된 모델은 https://github.com/RS2002/SeqLight 에서 제공됩니다.

Music-inspired Automatic Stage Lighting Control (ASLC) has gained increasing attention in recent years due to the substantial time and financial costs associated with hiring and training professional lighting engineers. However, existing methods suffer from several notable limitations: the low interpretability of rule-based approaches, the restriction to single-primary-light control in music-to-color-space methods, and the limited transferability of music-to-controlling-parameter frameworks. To address these gaps, we propose SeqLight, a hierarchical deep learning framework that maps music to multi-light Hue-Saturation-Value (HSV) space. Our approach first customizes SkipBART, an end-to-end single primary light generation model, to predict the full light color distribution for each frame, followed by hybrid Imitation Learning (IL) techniques to derive an effective decomposition strategy that distributes the global color distribution among individual lights. Notably, the light decomposition module can be trained under varying venue-specific lighting configurations using only mixed light data and no professional demonstrations, thereby flexibly adapting across diverse venues. In this stage, we formulate the light decomposition task as a Goal-Conditioned Markov Decision Process (GCMDP), construct an expert demonstration set inspired by Hindsight Experience Replay (HER), and introduce a three-phase IL training pipeline, achieving strong generalization capability. To validate our IL solution for the proposed GCMDP, we conduct a series of quantitative analysis and human study. The code and trained models are provided at https://github.com/RS2002/SeqLight .