시각 토큰 가지치기를 위한 AI4AI 프레임워크

An AI4AI Framework for Visual Token Pruning

시각-토큰 가지치기는 멀티모달 대규모 언어 모델(MLLM)의 추론 비용을 크게 줄일 수 있지만, 기존 방법들은 대부분 고정된, 사람이 직접 설계한 휴리스틱과 비용이 많이 드는 전문가의 시행착오에 의존합니다. 가지치기 목표, 예산 및 모델 아키텍처가 다양해짐에 따라, 확장되는 설계 공간을 수동으로 탐색하는 것은 점점 더 어려워지고 있습니다. 본 논문에서는 대규모 언어 모델(LLM)이 효과적인 시각-토큰 감소 알고리즘을 자동으로 설계할 수 있는지 묻는 문제로부터 시작하여, 시각-토큰 가지치기를 위한 AI4AI 프레임워크를 구축하는 것을 목표로 합니다. LLM은 광범위한 알고리즘 지식과 강력한 추론 능력을 가지고 있지만, 이러한 일반적인 지식을 특화된 작업에 대한 효과적인 솔루션으로 변환하는 것은 여전히 쉽지 않습니다. 우리는 핵심이 LLM의 내부 지식을 시각-토큰 가지치기의 구조적 요구 사항 및 제약 조건과 연결하는 적절한 탐색 상태 표현을 설계하는 데 있다고 주장합니다. 이러한 통찰력을 바탕으로, 본 논문에서는 LLM 기반 시각-토큰 가지치기 정책 설계를 위한 학습이 필요 없는 프레임워크인 AutoPrune을 제안합니다. AutoPrune의 핵심은 예산 제어, 토큰 점수 계산, 선택 제약 조건 및 토큰 재조합을 위한 131개의 재사용 가능한 요소로 구성된 토큰 가지치기 도메인 특화 언어(TPDSL)입니다. TPDSL의 주요 특징은 각 탐색 상태를 강력한 기본 정책의 잔여 수정으로 표현한다는 것입니다. 이러한 잔여 형태는 탐색 공간을 줄이고 LLM의 주의를 성능에 가장 큰 영향을 미치는 정책 구성 요소로 집중시킵니다. 14개의 멀티모달 벤치마크 및 세 가지 MLLM 백본에서의 실험 결과, AutoPrune은 효과성, 효율성 및 전이성을 입증합니다. AutoPrune은 시각 토큰의 94.4%를 제거하면서도 전체 토큰 성능의 99% 이상을 유지하고 FLOPs는 9.9배 줄이고 사전 채우기 지연 시간은 6.4배 단축했습니다.

Visual-token pruning can substantially reduce the inference cost of multimodal large language models (MLLMs), yet existing methods largely rely on fixed, handcrafted heuristics and costly expert trial and error. As pruning objectives, budgets, and model architectures diversify, manually navigating the expanding design space becomes increasingly difficult. This paper aims to build an AI4AI framework for visual-token pruning by addressing a natural question: Can large language models automatically design effective visual-token reduction algorithms? Although LLMs possess broad algorithmic knowledge and strong reasoning capabilities, translating such general knowledge into effective solutions for a specialized task remains nontrivial. We argue that the key lies in designing an appropriate search-state representation that connects the internal knowledge of LLMs with the structural requirements and constraints of visual-token pruning. Based on this insight, we propose AutoPrune, a training-free framework for LLM-driven visual-token pruning policy design. At its core, AutoPrune introduces a Token Pruning Domain-Specific Language (TPDSL) comprising 131 reusable atoms for budget control, token scoring, selection constraints, and token reassembly. A key property of TPDSL is that it represents each search state as a residual modification of a strong base policy. This residual formulation narrows the search space and directs the LLM's attention toward the policy components that are most consequential for performance. Experiments on 14 multimodal benchmarks and three MLLM backbones demonstrate the effectiveness, efficiency, and transferability of AutoPrune. Even when removing 94.4% of visual tokens, AutoPrune preserves more than 99% of full-token performance while reducing FLOPs by 9.9x and prefill latency by 6.4x.