BEAT: 균일한 시간 간격을 활용한 기호 음악 토큰화 및 생성

BEAT: Tokenizing and Generating Symbolic Music by Uniform Temporal Steps

음악을 언어 모델의 일반적인 프레임워크에 맞게 토큰화하는 것은 매력적인 과제이며, 특히 음악이 다양한 기호 구조(예: 시퀀스, 그리드, 그래프)로 표현될 수 있다는 점을 고려해야 합니다. 현재까지 대부분의 접근 방식은 음악을 음표 시작, 음높이, 시간 변화 또는 복합 음표 이벤트와 같은 음악 이벤트 시퀀스로 토큰화합니다. 이러한 전략은 직관적이며 Transformer 기반 모델에서 효과적인 것으로 입증되었지만, 음악 시간의 규칙성을 암묵적으로 처리합니다. 개별 토큰은 다양한 지속 시간을 가질 수 있으므로 시간 진행이 균일하지 않습니다. 본 논문에서는 균일한 길이의 음악적 단계(예: 박자)를 기본 단위로 사용하는 대체 토큰화 방식이 가능한지 탐구합니다. 구체적으로, 동일한 시간 단계 내의 모든 이벤트를 동일한 음높이로 하나의 토큰으로 인코딩하고, 토큰을 명시적으로 시간 단계별로 그룹화합니다. 이는 피아노 롤 표현의 희소 인코딩과 유사합니다. 제안된 토큰화 방식을 음악 연주 및 반주 생성 작업에 적용하여 기존의 이벤트 기반 방법에 대한 성능을 비교했습니다. 결과는 제안된 토큰화 방식이 더 높은 음악 품질과 구조적 일관성을 제공하며, 추가 분석을 통해 효율성이 향상되고 장거리 패턴을 보다 효과적으로 포착할 수 있음을 확인했습니다.

Tokenizing music to fit the general framework of language models is a compelling challenge, especially considering the diverse symbolic structures in which music can be represented (e.g., sequences, grids, and graphs). To date, most approaches tokenize symbolic music as sequences of musical events, such as onsets, pitches, time shifts, or compound note events. This strategy is intuitive and has proven effective in Transformer-based models, but it treats the regularity of musical time implicitly: individual tokens may span different durations, resulting in non-uniform time progression. In this paper, we instead consider whether an alternative tokenization is possible, where a uniform-length musical step (e.g., a beat) serves as the basic unit. Specifically, we encode all events within a single time step at the same pitch as one token, and group tokens explicitly by time step, which resembles a sparse encoding of a piano-roll representation. We evaluate the proposed tokenization on music continuation and accompaniment generation tasks, comparing it with mainstream event-based methods. Results show improved musical quality and structural coherence, while additional analyses confirm higher efficiency and more effective capture of long-range patterns with the proposed tokenization.