학습 가능한 전역 병합을 통한 가변 길이 토큰화: 디퓨전 트랜스포머를 위한 방법

Variable-Length Tokenization via Learnable Global Merging for Diffusion Transformers

잠재 확산 모델(LDM)은 시각적 합성 분야에서 주류가 되었지만, 토크나이저의 고정된 압축 비율로 인해 품질과 계산량 간의 균형에 상당한 제약이 있습니다. 가변 길이 토크나이저(VLT)는 토큰 수를 조절하여 적응적인 압축을 제공하므로 확산 모델이 유연하게 품질과 계산량을 조정할 수 있게 합니다. 그러나 기존 VLT는 정렬된 토큰 시퀀스를 잘라내어 길이를 조절하는데, 이는 토큰 의미론이 토큰 위치에 의존하게 만들고, 길이 간의 표현 일관성을 깨뜨립니다. 이로 인해 잠재 분포에서 길이가 다른 데이터 간에 편향이 발생하여 단일 가변 길이 확산 모델의 효과적인 작동을 방해합니다. 이러한 문제를 해결하기 위해, 우리는 길이를 조절하기 위해 토큰을 병합하는 새로운 가변 길이 토크나이저를 제안합니다. 유사한 토큰이 병합되도록 유도하면, 확산 트랜스포머가 병합 패턴에 따라 작동할 때 직접적인 길이 간 표현 정렬이 가능함을 보여줍니다. 기존의 병합 방법은 데이터 의존적이어서 생성 과정에서 병합 패턴을 사용할 수 없기 때문에, 우리는 데이터 독립적인 학습 가능한 전역 병합(learnable global merging)을 도입하여 확산 트랜스포머와의 호환성을 보장합니다. ImageNet 256x256 이미지 생성을 위한 실험 결과, 당사의 병합 기반 가변 길이 토크나이저를 확산 트랜스포머와 결합한 모델은 기존 VLT 방법보다 우수한 gFID-계산량 균형을 달성했습니다. 코드는 [https://github.com/movinghoon/lgm](this URL)에서 확인할 수 있습니다.

Latent Diffusion Models (LDMs) have become dominant in visual synthesis, but their quality-compute trade-off is largely constrained by the tokenizer's fixed compression ratio. Variable-length tokenizers (VLTs) promise adaptive compression by varying token counts, allowing diffusion models to flexibly balance quality and compute. However, conventional VLTs modulate length by truncating ordered token sequences, which makes token semantics depend on token position and breaks representational alignment across lengths. This leads to a cross-length shift in the latent distribution that hinders a single variable-length diffusion model from operating effectively. To address this, we propose a novel variable-length tokenizer that modulates length by merging tokens. We show that encouraging similar tokens to merge enables direct cross-length representation alignment when the diffusion transformer operates according to the merging pattern. Since conventional merging methods are data-dependent, making the merging pattern inaccessible during generation, we introduce learnable global merging, which is data-independent, to ensure compatibility with diffusion transformers. On ImageNet 256$\times$256 generation, our merging-based variable-length tokenizer integrated with a diffusion transformer achieves a superior gFID-compute trade-off compared to prior VLT methods. Code is available at [this https URL](https://github.com/movinghoon/lgm)