GOTS: 탐욕적 직교 토큰 선택을 통한 고해상도 시각-언어 모델

GOTS: Greedy Orthogonal Token Selection for High-Resolution Vision-Language Models

최신 시각-언어 모델(VLM)은 점점 더 동적 또는 고해상도 시각 인코딩에 의존하며, 이로 인해 수천 개의 시각 토큰이 생성되어 후속 언어 모델 추론 비용이 크게 증가합니다. 기존의 토큰 감소 방법들은 토큰 중요도, 쿼리 관련성, 커버리지, 쌍별 다양성 또는 부분 집합 수준의 목표를 통해 토큰 유용성을 평가합니다. 본 연구에서는 시각 토큰 감소를 선택된 구간의 상호 보완성을 통해 바라보는 핵심적인 아이디어를 제시합니다. 기존 방법들이 개별 토큰이나 쌍방향 관계를 통해 점수를 매기는 반면, 우리는 이미 유지된 부분 집합과 얼마나 직교하는지를 기준으로 각 토큰의 특징을 평가합니다. 이러한 관점에 기반하여, 학습 과정이 필요 없고 쿼리에 의존하지 않는 '탐욕적 직교 토큰 선택(GOTS)' 방법을 제안합니다. GOTS는 각 단계에서 현재 유지된 부분 집합에 대해 가장 큰 잔여 에너지를 갖는 토큰을 선택합니다. 이 규칙은 후보 추가 항목 간의 일차원 확장된 그람 행렬식을 정확하게 최대화하며, 각 탐욕적 단계를 위한 정확한 국소 기하학적 보장을 제공합니다. Qwen-VL 및 InternVL 계열의 다섯 가지 고해상도 VLM 모델과 11개의 다양한 벤치마크에서 GOTS는 가장 강력한 비교 대상보다 높은 평균 성능 유지율을 달성했습니다. 또한, OCRBench 연구를 통해 GOTS가 선택 오버헤드를 고려했을 때 모델 측면의 토큰 생성 시간(time-to-first-token)을 줄이는 것을 확인했습니다. 관련 코드는 https://github.com/newLLing/GOTS 에서 확인할 수 있습니다.

Modern vision-language models (VLMs) increasingly rely on dynamic or high-resolution visual encoding, producing thousands of visual tokens that substantially increase downstream language-model inference cost. Existing token-reduction methods assess token utility through token-wise importance, query relevance, coverage, pairwise diversity, or subset-level objectives. Our key insight is to view visual token reduction through selected-span complementarity: instead of scoring a token in isolation or through pairwise relations, we assess how much of its feature is orthogonal to the span of the already retained subset. Based on this perspective, we propose Greedy Orthogonal Token Selection (GOTS), a training-free and query-agnostic method. At each step, GOTS selects the token with the largest residual energy orthogonal to the current retained span. This rule exactly maximizes the one-step augmented Gram determinant among candidate additions, giving each greedy step a precise local geometric guarantee for subset expansion. Across five high-resolution VLM backbones from the Qwen-VL and InternVL families and eleven diverse benchmarks, GOTS achieves higher average performance retention than the strongest evaluated baselines, and a controlled OCRBench study shows that it reduces model-side time-to-first-token after accounting for selection overhead. Code is available at https://github.com/newLLing/GOTS.