채널 단위 벡터 양자화

Channel-wise Vector Quantization

우리는 패치 단위 토큰을 채널 단위 토큰으로 대체하는 새로운 이미지 토큰화 패러다임인 채널 단위 벡터 양자화(CVQ)를 제시합니다. 각 패치 특징 벡터에 이산적 토큰을 할당하는 기존의 벡터 양자화와 달리, CVQ는 특징 맵의 각 채널을 양자화합니다. 이러한 구성은 이미지를 공간적 패치 그리드로 보는 대신, 시각적 세부 사항의 이산적 단계로 표현합니다. CVQ를 기반으로, 우리는 '다음 채널 예측' 방식의 새로운 시각적 자기회귀(autoregressive) 프레임워크를 도입합니다. 래스터 순서로 이미지를 패치별로 생성하는 대신, 당사의 채널 단위 자기회귀(CAR) 모델은 이미지 채널을 순차적으로 예측하여 점진적으로 풍부해지는 시각적 세부 사항을 생성합니다. 구체적으로, 이는 먼저 전체적인 구조를 스케치하고 이후 세밀한 속성을 다듬어 나가는 인간 예술가의 작업 방식과 유사하게 작동합니다. 실험적으로 우리는 다음을 보여줍니다: (1) CVQ는 별도의 추가 기능 없이도 16K 이상의 코드북 크기로 100%의 코드북 활용도를 달성하며, 기존 VQ에 비해 재구성 품질을 상당히 개선합니다; 그리고 (2) CAR은 DPG 점수 86.7 및 GenEval 점수 0.79를 달성하며, 텍스트 투 이미지(text-to-image) 생성에서 강력한 효과를 입증했습니다.

We present Channel-wise Vector Quantization (CVQ), a novel image tokenization paradigm that replaces patch-wise tokens with channel-wise tokens. Unlike conventional vector quantization, which assigns a discrete token to each patch feature vector, CVQ quantizes each channel of the feature map. This formulation represents an image as discrete levels of visual details, rather than as a grid of spatial patches. Based on CVQ, we introduce a new visual autoregressive framework with "next-channel prediction". Instead of rendering images patch by patch in raster order, our Channel-wise Autoregressive (CAR) model predicts image channels sequentially, producing progressively enriched visual details. Specifically, it first sketches global structure and then refines fine-grained attributes, akin to a human artist's workflow. Empirically, we show that: (1) CVQ achieves 100% codebook utilization with a 16K+ codebook size without any bells and whistles, and substantially improves reconstruction quality over conventional VQ; and (2) CAR attains a DPG score of 86.7 and a GenEval score of 0.79, demonstrating strong effectiveness for text-to-image generation.