부트스트랩 토큰화를 이용한 이미지 압축 및 생성 균형 연구

Balancing Image Compression and Generation with Bootstrapped Tokenization

이미지 토큰화 분야에서 상당한 발전이 있었지만, 기존 방법은 각 토큰 내에 모든 세부 수준의 정보를 혼합하여 표현하므로, 토큰 간에도 여전히 중복 정보가 존재합니다. 또한, 다양한 세부 수준의 정보 혼합은 생성 모델 학습을 복잡하게 만듭니다. 본 논문에서는 SelfBootTok이라는 방법을 제안하며, 이 방법은 정보를 글로벌 및 로컬 토큰 그룹으로 명확하게 분리하여 이러한 문제를 해결합니다. 자기 부트스트랩 학습을 통해 모델은 로컬 세부 사항을 글로벌 토큰에서만 예측하도록 훈련되며, 시각적 세부 정보의 부담을 생성기에서 토크나이저로 전환합니다. 그 결과, 제안하는 생성기는 훨씬 효율적이며, 글로벌 토큰만을 사용하여 약 40%의 계산량을 줄이면서도 우수한 재구성 및 생성을 제공합니다. 또한, 이러한 패러다임은 확장성이 뛰어나며, 더 많은 데이터 또는 파라미터를 활용하여 로컬 표현 학습을 자체적으로 감독함으로써, SelfBootTok은 단 64개의 토큰만을 사용하여 새로운 최고 수준의 gFID 점수 1.56을 달성합니다.

Despite progress in image tokenization, standard methods encode redundant information by mixing all granularities within each token, thus redundancy persists between tokens. The mix of information of different granularity also complicates the training of generators. This paper introduces SelfBootTok, a method that resolves this by cleanly decomposing information into global and local token groups. Through self-bootstrapped learning, the model predicts local details exclusively from global tokens, shifting the burden of visual details from the generator to the tokenizer. Consequently, our generator is far more efficient, requiring only global tokens and reducing computation by approximately 40%, while delivering superior reconstruction and generation. Moreover, this paradigm scales elegantly: by leveraging more data or parameters to self-supervise local representation learning, SelfBootTok achieves a new state-of-the-art gFID score of 1.56 using only 64 tokens.