참여, 변환 또는 무시: 효율적인 다중 모드 LLM 추론을 위한 연산자 레벨 시각 정보 건너뛰기

Attend, Transform, or Silence: Operator-Level Visual Skipping for Efficient Multimodal LLM Inference

다중 모드 대규모 언어 모델(MLLM)은 점점 더 긴 시각-토큰 시퀀스를 처리하여 전체 추론 계산량을 증가시키고 있습니다. 기존의 가속화 방법은 일반적으로 시각 토큰을 제거하거나 전체 레이어에서 시각-토큰 업데이트를 건너뇍지만, 이러한 거친 전략은 미세한 증거를 잃거나 불필요한 연산자와 함께 유용한 연산자를 억제할 수 있습니다. 본 논문에서는 답변 관점에서 시각-토큰 계산을 연구하고, 후반의 시각-토큰 업데이트는 여전히 큰 값을 유지하면서도 답변-토큰 표현에 거의 영향을 미치지 않는다는 것을 발견했습니다. 이러한 답변에 무관한 중복성을 바탕으로, 각 Transformer 레이어를 어텐션 및 FFN 연산자로 분해하고, 유용한 시각 계산은 종종 특정 연산자에서 주도되며 레이어에 따라 다르다는 것을 보여줍니다. 본 논문에서는 전체 시각-토큰 시퀀스를 유지하면서 불필요한 어텐션, FFN 또는 둘 다를 선택적으로 건너뛰는 연산자 레벨의 시각-토큰 건너뛰기 프레임워크를 제안합니다. 세 가지 MLLM 아키텍처 및 10개의 VQA 벤치마크에 대한 실험 결과, 본 방법은 뛰어난 효율성-정확도 균형을 달성하며, Qwen3-VL 모델의 TFLOPs를 **33.7%** 줄이면서 원본 모델 성능의 **99.5%**를 유지합니다.

Multimodal large language models (MLLMs) increasingly process long visual-token sequences, increasing the overall inference computation. Existing acceleration methods usually remove visual tokens or skip visual-token updates in entire layers, but these coarse strategies may discard fine-grained evidence or suppress useful operators together with redundant ones. In this paper, we study visual-token computation from an answer-observable perspective and find that late visual-token updates can remain large while having little effect on answer-token representations. Motivated by this answer-silent redundancy, we decompose each Transformer layer into attention and FFN operators and show that useful visual computation is often operator-dominant and layer-dependent. We propose an operator-level visual-token skipping framework that preserves the full visual-token sequence while selectively bypassing redundant attention, FFN, or both. Experiments across three MLLM architectures and 10 VQA benchmarks show that our method achieves strong efficiency-accuracy trade-offs, reducing \textbf{33.7\%} TFLOPs on Qwen3-VL while retaining \textbf{99.5\%} of the vanilla model performance.