BeatEdit: 명시적인 편집을 통한 기호 음악 생성

BeatEdit: Symbolic Music Generation as Explicit Editing

음악 창작은 근본적으로 수정의 과정입니다. 그러나 현재 기호 음악 생성 방식은 대부분 처음부터 전체 시퀀스를 생성하는 방식으로 이루어지며, 선택적 수정을 위한 지원이 제한적입니다. 편집 기반 방법은 텍스트 변환 작업에서 효과적인 것으로 입증되었지만, 기호 음악 분야에서는 아직 활발하게 연구되지 않았습니다. 이러한 현상은 표현 방식의 문제에 기인합니다. 기존의 이벤트 기반 음악 인코딩은 명시적인 음악 편집에 필요한 구조적 특징이 부족합니다. 반면, 오토레그레시브 생성용으로 원래 설계된 비트-그리드 기반 표현 방식인 BEAT 인코딩은 편집에 적합한 구조적 특성을 가지고 있습니다. 본 연구에서는 명시적인 편집 작업을 기반으로 하는 기호 음악 생성 프레임워크인 BeatEdit을 제안합니다. BeatEdit은 기존의 처음부터 생성하는 방식 대신, 초안을 수정하여 새로운 콘텐츠를 생성하는 방식으로 작동합니다. BeatEdit은 오류 수정에 사용되는 토큰 시퀀스 태깅, 반주 편집을 위한 반복적 개선, 그리고 세그먼트 완성을 위한 태깅 후 채우기 기능을 포함한 세 가지 상호 보완적인 메커니즘으로 구성됩니다. 이러한 모든 메커니즘은 단일 인코딩과 사전 훈련된 기반 모델을 공유하며, 세 가지 작업 모두에서 오토레그레시브 및 확산 방식보다 더 높은 정확도와 지각적 품질을 달성하면서도 효율적입니다. 추가적으로 실시한 교차 인코딩 평가는 인코딩 설계가 편집 효과에 상당한 영향을 미치며, 특히 인코딩 방식과 방법 간의 상호 작용 효과가 있음을 보여줍니다. 관련 코드는 https://github.com/Haoyu-Gu/BeatEdit-code 에서 확인할 수 있습니다.

Music creation is fundamentally a process of revision. Yet symbolic music generation remains dominated by paradigms that produce complete sequences from scratch, with limited support for selective modification. Edit-based methods have proven effective for text transformation tasks, but remain largely unexplored for symbolic music. We trace this absence to the representational level: conventional event-based music encodings lack the structural properties required by explicit music editing. In contrast, the BEAT encoding, a beat-grid-anchored representation originally designed for autoregressive generation, possesses structural properties amenable to editing. We propose BeatEdit, the first framework for symbolic music generation based on explicit edit operations, recasting generation as producing new content by editing a draft rather than synthesizing from scratch. BeatEdit comprises three complementary mechanisms along an axis of increasing edit density: per-token sequence tagging for error correction, iterative refinement for accompaniment editing, and tag-then-fill for segment completion. All these mechanisms share a single encoding and pre-trained backbone, achieving higher precision and perceptual quality than autoregressive and diffusion methods across all three tasks, while remaining efficient, with single-pass inference completing in under 100 ms. Cross-encoding evaluation further reveals that encoding design substantially influences editing effectiveness, with notable encoding-method interaction effects. Code is available at https://github.com/Haoyu-Gu/BeatEdit-code