SymphonyGen: 제어 가능한 화성 구조를 갖춘 3차원 계층적 오케스트라 자동 생성

SymphonyGen: 3D Hierarchical Orchestral Generation with Controllable Harmony Skeleton

교향곡 음악을 생성하는 것은 고수준의 구조적인 형태와 복잡하고 다중 트랙으로 구성된 오케스트레이션을 동시에 관리해야 하는 작업입니다. 기존의 심볼릭 모델은 종종 "복잡성-제어 균형 불균형"이라는 문제에 직면하며, 이는 확장 과정에서 장기적인 세밀한 제어를 제한합니다. 본 논문에서는 현대 영화 음악 오케스트레이션에 적합한 3차원 계층적 프레임워크인 SymphonyGen을 제시합니다. SymphonyGen은 바(Bar), 트랙(Track), 이벤트(Event) 축을 분해하는 캐스케이딩 디코더 아키텍처를 사용하여 기존의 1차원 또는 2차원 모델보다 계산 효율성과 확장성을 향상시킵니다. 우리는 비트 단위로 양자화된 다성 화성 골격을 활용한 "쇼트 스코어(short-score)" 조건을 도입하여 전체적인 구조 제어를 가능하게 하면서도 풍부한 질감을 유지합니다. 또한, 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)와 크로스 모달 오디오-지각 보상을 사용하여 심볼릭 출력을 현대적인 음향 기준에 맞추는 방식으로 모델을 추가적으로 개선했습니다. 더불어, 추론 과정에서 의도치 않은 불협화음을 억제하기 위한 불협화음 회피 샘플링 알고리즘을 구현했습니다. 객관적인 평가 결과, 강화 학습과 불협화음 회피 샘플링 모두 화성적인 완성도를 향상시키면서 동시에 선율적인 표현력을 유지하는 데 효과적임이 나타났습니다. 주관적인 평가에서는 SymphonyGen이 다른 모델에 비해 음악성과 오케스트라 음악 생성 측면에서 더 높은 성능을 보이는 것으로 확인되었습니다. 데모 페이지: https://symphonygen.github.io/

Generating symphonic music requires simultaneously managing high-level structural form and dense, multi-track orchestration. Existing symbolic models often struggle with a "complexity-control imbalance", in which scaling bottlenecks limit long-term granular steerability. We present SymphonyGen, a 3D hierarchical framework for contemporary cinematic orchestration. SymphonyGen employs a cascading decoder architecture that decomposes the Bar, Track, and Event axes, improving computational efficiency and scalability over conventional 1D or 2D models. We introduce "short-score" conditioning via a beat-quantized multi-voice harmony skeleton, enabling outline control while preserving textural diversity. The model is further refined using Group Relative Policy Optimization (GRPO) with a cross-modal audio-perceptual reward, aligning symbolic output with modern acoustic expectations. Additionally, we implement a dissonance-averse sampling algorithm to suppress unintended tonal clashes during inference. Objective evaluations show that both reinforcement learning and dissonance-averse sampling effectively enhance harmonic cleanliness while maintaining melodic expression. Subjective evaluations demonstrate that SymphonyGen outperforms baselines in musicality and preference for orchestral music generation. Demo page: https://symphonygen.github.io/