구조화된 이미지 표현을 위한 통신 기반 토큰화

Communication-Inspired Tokenization for Structured Image Representations

이산 이미지 토큰화는 최신 컴퓨터 비전 및 멀티모달 시스템의 핵심 구성 요소로, 트랜스포머 기반 아키텍처를 위한 순차적 인터페이스를 제공합니다. 그러나 대부분의 기존 방법은 주로 재구성 및 압축에 최적화되어 있으며, 종종 객체 수준의 의미 구조보다는 로컬 텍스처를 포착하는 토큰을 생성합니다. 인간의 점진적이고 구성적인 의사소통 방식에서 영감을 받아, 우리는 구조화된 이산 시각 토큰 시퀀스를 학습하는 프레임워크인 COMmunication inspired Tokenization (COMiT)을 소개합니다. COMiT는 고정된 토큰 예산 내에서 잠재적인 메시지를 구축하며, 반복적으로 로컬 이미지 영역을 관찰하고 이산 표현을 재귀적으로 업데이트합니다. 각 단계에서 모델은 새로운 시각 정보를 통합하면서 기존 토큰 시퀀스를 개선하고 재구성합니다. 여러 인코딩 단계를 거친 후, 최종 메시지는 전체 이미지를 재구성하는 플로우 매칭 디코더를 조건화합니다. 인코딩 및 디코딩은 단일 트랜스포머 모델 내에서 구현되며, 플로우 매칭 재구성 손실과 의미 표현 정렬 손실의 조합을 사용하여 엔드 투 엔드로 학습됩니다. 우리의 실험 결과는 의미 정렬이 기준점을 제공하는 반면, 어텐션 기반의 순차적 토큰화가 해석 가능하고 객체 중심적인 토큰 구조를 유도하고, 기존 방법보다 구성적 일반화 및 관계 추론 능력을 크게 향상시키는 데 중요하다는 것을 보여줍니다.

Discrete image tokenizers have emerged as a key component of modern vision and multimodal systems, providing a sequential interface for transformer-based architectures. However, most existing approaches remain primarily optimized for reconstruction and compression, often yielding tokens that capture local texture rather than object-level semantic structure. Inspired by the incremental and compositional nature of human communication, we introduce COMmunication inspired Tokenization (COMiT), a framework for learning structured discrete visual token sequences. COMiT constructs a latent message within a fixed token budget by iteratively observing localized image crops and recurrently updating its discrete representation. At each step, the model integrates new visual information while refining and reorganizing the existing token sequence. After several encoding iterations, the final message conditions a flow-matching decoder that reconstructs the full image. Both encoding and decoding are implemented within a single transformer model and trained end-to-end using a combination of flow-matching reconstruction and semantic representation alignment losses. Our experiments demonstrate that while semantic alignment provides grounding, attentive sequential tokenization is critical for inducing interpretable, object-centric token structure and substantially improving compositional generalization and relational reasoning over prior methods.