PARCEL: 풀링 기반 리샘플링과 조건부 탄성 질의를 이용한 효율적인 시각-언어 이해

PARCEL: Pool-Anchored Resampling with Conditioned Elastic Queries for Efficient Vision-Language Understanding

대규모 시각-언어 모델(LVLM)은 시각적 입력을 밀집된 토큰 시퀀스로 변환하며, 이는 추론 과정에서 2차원 계산 병목 현상을 야기합니다. 탄성 시각-토큰 압축은 단일 모델을 여러 개의 시각-토큰 예산으로 실행할 수 있도록 학습시켜 이 문제를 해결하지만, 기존 접근 방식은 과도한 압축에 어려움을 겪습니다. 공간 정보만 사용하는 압축 방식(예: 중첩 풀링)은 불완전한 저주파 필터 역할을 하며, 스펙트럴 에일리어싱을 유발하여 미세한 세부 정보를 가립니다. 질의 정보만 사용하는 압축 방식(예: 중첩 질의 리샘플링)은 명시적인 그리드 정렬 토큰을 비국소 요약으로 대체하며, 공간적 정합성을 크게 저하시킵니다. 이러한 표현상의 문제를 해결하기 위해, 우리는 효율적인 시각-언어 이해를 위한 풀링 기반 리샘플링과 조건부 탄성 질의를 사용하는 PARCEL(Pool-Anchored Resampling with Conditioned Elastic Queries)이라는 시각 토큰화 아키텍처를 소개합니다. PARCEL은 공간 풀 토큰을 저주파 레이아웃 앵커로 설정하고, 풀 기반 조건부 질의 리샘플링을 통해 이러한 앵커에 탄성 질의 토큰을 연결합니다. 이를 통해 질의 토큰이 중복된 공간 매핑보다는 상호 보완적인 시각적 특징에 집중하도록 유도합니다. 27개의 벤치마크를 사용한 광범위한 실험 결과, PARCEL은 성능-효율성의 패레토 최적 전선을 개선하며, 다양한 시각-토큰 예산에서 기존의 matryoshka 기반 모델보다 우수한 성능을 보입니다. 또한 "한 번 학습하고 어디든 배포 가능"이라는 장점을 유지합니다.

Large Vision-Language Models (LVLMs) map visual inputs into dense token sequences, imposing a quadratic computational bottleneck for inference. Elastic visual-token compression addresses this by training a single model that can run at multiple visual-token budgets. However, existing approaches struggle under aggressive compression. Spatial-only compression, as in nested pooling, behaves as an imperfect low-pass filter and induces spectral aliasing that obscures fine-grained detail. Query-only compression, as in nested query resampling, replaces explicit grid-aligned tokens with non-local summaries and substantially degrades spatial grounding. To resolve this representational conflict, we introduce PARCEL (Pool-Anchored Resampling with Conditioned Elastic Queries for Efficient Vision-Language Understanding), a visual tokenization architecture that dynamically partitions the labor of feature extraction. PARCEL establishes spatial pool tokens as low-frequency layout anchors and conditions elastic query tokens on these anchors through Pool-Conditioned Query Resampling. This encourages query tokens to focus on complementary visual features rather than redundant spatial mapping. Extensive evaluations across 27 benchmarks show that PARCEL improves the performance-efficiency Pareto frontier, consistently outperforming existing matryoshka baselines across visual-token budgets while preserving the "train once, deploy anywhere" paradigm.