SepPrune: 효율적인 다중 모드 대규모 언어 모델을 위한 분리자 기반 가지치기 프레임워크

SepPrune:A Separator-based Pruning Framework for Efficient Multimodal Large Language Models

최근의 다중 모드 대규모 언어 모델(MLLM), 예를 들어 Qwen2.5-VL 및 InternVL3는 고해상도 입력에 대해 많은 수의 시각 토큰을 생성하며, 이는 상당한 계산 비용으로 이어진다. 기존의 시각 토큰 가지치기 방법은 교차 모드 어텐션에 의존하거나 높은 계산 오버헤드를 가진 다양성 추정 방식을 사용하며, 사전 채우기 단계 전에 가지치기를 수행할 수 없다는 한계가 있다. 우리는 시각 및 텍스트 토큰 모두에서 어텐션 점수가 모달리티 분리자(separator) 토큰에서 최고조를 이룬다는 것을 관찰했는데, 이는 이러한 분리자가 두 모달리티를 연결한다는 것을 시사한다. 이러한 관찰을 바탕으로, 우리는 효율적이고 학습이 필요 없으며, 쉽게 적용 가능한 가지치기 방법인 SepPrune을 제안한다. SepPrune은 정보가 풍부한 시각 토큰을 순위를 매기고 선택하기 위해 분리자 토큰을 통합된 쿼리로 사용한다. SepPrune은 LLM의 내장 투영 파라미터를 재사용하며, 아키텍처 변경이 필요하지 않다. Qwen2.5-VL-7B에 대한 실험 결과, SepPrune은 최첨단 성능을 달성했으며, 원래 정확도의 96.3%를 유지하면서 시각 토큰의 80.2%를 제거했다.

Recent multimodal large language models (MLLMs), such as Qwen2.5-VL and InternVL3, generate large numbers of vision tokens for high-resolution inputs, leading to substantial computational cost. Existing vision token pruning methods either depend on cross-modal attention and cannot prune before the prefill stage, or rely on diversity estimation with high computational overhead. We observe that attention scores from both vision and text tokens peak at modality separator tokens, suggesting that these separators bridge the two modalities. Based on this observation, we propose SepPrune, an efficient, training-free, plug-and-play pruning method that uses the separator token as a unified query to rank and select informative vision tokens. SepPrune reuses the LLM's built-in projection parameters and requires no architectural changes. Experiments on Qwen2.5-VL-7B show that SepPrune achieves state-of-the-art performance, retaining 96.3% of the original accuracy while removing 80.2% of vision tokens.