ReToken: 시각 정보 검색을 위한 비전-언어 모델 성능 향상을 위한 단일 토큰

ReToken: One Token to Improve Vision-Language Models for Visual Retrieval

장기간의 시각적 맥락은 비전-언어 모델에게 어려움을 야기합니다. 즉, 방해 요소의 수가 증가하면 성능이 저하되고, 모든 토큰을 동시에 처리하는 것은 GPU 메모리 제약 하에서 계산적으로 불가능합니다. 본 논문에서는 ReToken이라는 단일 학습 임베딩을 제시합니다. 이는 사전 채워진 시각적 KV 캐시에서 쿼리와 관련된 희소한 시각적 토큰 세트를 선택하는 명시적인 검색 대상으로 사용됩니다. ReToken은 비교적 작은 이미지-질의응답 데이터셋으로만 학습되었으며, 이미지 및 비디오 벤치마크에서 일관된 성능 향상을 보입니다. Visual Haystacks 데이터셋에서는 Qwen3VL-8B 모델을 13.4점, InternVL3.5 모델을 12.4점 (상대적으로 20% 이상) 향상시켰고, LVBench 데이터셋에서는 Qwen3VL-8B 모델로 긴 비디오에 대한 제로샷 성능을 8.0점 향상시켰습니다. ReToken은 가벼운 설계 덕분에 학습 및 긴 비디오 추론이 단일 H100 GPU에서도 가능합니다. 코드: https://github.com/avaxiao/ReToken

Long visual context poses a challenge for vision-language models: performance degrades as the number of distractors grows, and processing all tokens at once is computationally infeasible under GPU memory constraints. We present ReToken, a single learnable embedding trained as an explicit retrieval target that selects a sparse set of query-relevant visual tokens from a pre-filled visual KV cache. Trained on only a small image-QA dataset, ReToken yields consistent gains across image and video benchmarks: on Visual Haystacks it improves Qwen3VL-8B by 13.4 points and InternVL3.5 by 12.4 points (>20% relative), and on LVBench it transfers zero-shot to long video for an 8.0-point gain with Qwen3VL-8B. Thanks to its lightweight design, both training and long-video inference fit on a single H100. Code is available at: https://github.com/avaxiao/ReToken