Decomposer: 심볼릭 음악을 프로그램으로 역컴파일하는 방법

Decomposer: Learning to Decompile Symbolic Music to Programs

음악 연주는 고수준의 음악적 지시사항을 실행하는 과정이지만, 연주로부터 이러한 지시사항을 복원하는 것은 어려운 역방향 문제입니다. 본 논문에서는 Decomposer라는 프레임워크를 제안합니다. 이는 심볼릭 음악의 역컴파일 작업을 수행하며, 즉 실행 가능하고 편집 가능한 음악 프로그램을 심볼릭 음악으로부터 복원하는 작업입니다. 구체적으로, 저희는 MIDI 데이터를 입력으로 받아 Strudel이라는 음악 프로그래밍 언어로 작성된 프로그램을 생성하는 MIDI-to-Strudel 역컴파일 작업을 다룹니다. 이 작업은 두 가지 어려움을 안고 있습니다. 첫째, Strudel은 데이터가 부족한 언어이며, 자연스럽게 연결된 MIDI-코드 데이터 쌍이 거의 존재하지 않습니다. 둘째, MIDI 데이터 자체의 정확한 복원을 최적화하는 과정에서 프로그램이 사람이 읽기 어려운 음표 단위의 단순 번역으로 이어질 수 있습니다. 이러한 어려움을 해결하기 위해 두 단계를 거칩니다. 첫 번째 단계에서는 Strudel-Synth라는 인공 데이터셋을 구축합니다. 이 데이터셋은 연결된 Strudel 프로그램과 렌더링된 MIDI 데이터를 포함하며, 이를 사용하여 지도 학습 방식으로 모델을 미세 조정합니다. 두 번째 단계에서는 강화 학습을 통해 모델을 개선합니다. 이때는 연결되지 않은 MIDI 데이터를 사용하고, MIDI 재구성의 정확성과 코드 가독성 모두를 고려하여 보상을 최적화합니다. 인공 데이터와 실제 MIDI 벤치마크에서 수행한 실험 결과, Decomposer는 독점 LLM보다 훨씬 높은 MIDI 재구성 정확도를 달성했으며, 휴리스틱 기반 변환기보다 더 읽기 쉽고 다양한 코드를 생성했습니다.

Musical performance involves executing a set of high-level musical instructions, yet recovering those instructions from the performance is a challenging inverse problem. We present Decomposer, a post-training framework for symbolic music decompilation: the task of recovering executable, editable music programs from symbolic music. We instantiate the task as MIDI-to-Strudel decompilation, where the model takes symbolic MIDI as input and produces a program in Strudel, a music programming language, that reconstructs the input when executed. The task poses two challenges: Strudel is a low-resource language with little naturally paired MIDI-code data, and optimizing faithful reconstruction of MIDI alone can collapse to unreadable note-by-note transliteration. We address these challenges in two stages. First, we construct Strudel-Synth, a synthetic corpus of paired Strudel programs and rendered MIDI, and use it for supervised fine-tuning. Second, we refine the model with reinforcement learning on unpaired MIDI, optimizing rewards for both MIDI reconstruction faithfulness and code readability. Our evaluation across synthetic and real-world MIDI benchmarks shows that Decomposer achieves substantially higher MIDI reconstruction faithfulness than closed-source LLMs while producing more readable and diverse code than the heuristic converter.