SlimVLM: 중요도 기반 동적 구조화 가지치기 및 적응형 시각 토큰 선택을 통한 효율적인 비전-언어 모델

SlimVLM: Sensitivity-aware Dynamic Structured Pruning with Adaptive Visual Token Selection for Efficient Vision-Language Models

비전-언어 모델(VLMs)은 텍스트와 이미지를 처리하고 이해하는 데 뛰어난 성능을 보이지만, 큰 파라미터 크기로 인해 상당한 계산 오버헤드가 발생하여 컴퓨팅 자원이 제한된 장치에서의 활용이 어렵습니다. 가지치기는 대규모 언어 모델(LLM)을 압축하는 데 효과적이었지만, VLMs에 직접 적용하면 성능 저하가 심각하게 발생하는 경우가 많으며, 이는 주로 중요도 추정 방해를 하는 중복적인 시각 토큰 때문입니다. 이에 우리는 VLMs의 압축과 동시에 작업 성능을 유지하기 위해 설계된 구조화된 가지치기 프레임워크인 SlimVLM을 제안합니다. 우리는 VLMs에서 텍스트-시각 주의점수 평균을 활용하여 시각 토큰의 중요도를 평가하고, 특정 임계값을 기준으로 중복적인 토큰을 제거하여 중요도 계산을 최적화하는 적응형 시각 토큰 선택 전략을 도입했습니다. 또한, 각 모듈별로 가지치기에 대한 내성이 다르다는 점을 고려하여, 가지치기된 모듈과 가지치기되지 않은 모듈 간의 선형 재구성 오차를 계산하여 각 모듈에 적합한 가지치기 비율을 결정하는 중요도 기반 동적 가지치기 메커니즘을 제안했습니다. 실험 결과는 SlimVLM이 여러 멀티모달 벤치마크에서 기존 방법보다 우수한 성능을 보이며, 최첨단 수준의 결과를 달성했음을 보여줍니다.

While Vision-Language Models (VLMs) have demonstrated remarkable performance in processing and understanding both text and images, their large parameter sizes lead to significant computational overhead, limiting their deployment on resource-constrained devices. While pruning has been effective for compressing Large Language Models (LLMs), directly applying it to VLMs leads to significant performance drops, largely due to redundant visual tokens interfering with importance estimation. To this end, we propose SlimVLM, a structured pruning framework designed to compress VLMs while preserving their task performance. We introduce an adaptive visual token selection strategy for VLMs that leverages average text-to-visual attention scores to assess the importance of visual tokens, removing redundant ones during pruning based on a set threshold, thereby optimizing the importance calculation. Recognizing the varying tolerance to sparsity across different modules, we also propose a Sensitivity-aware dynamic pruning mechanism that determines the appropriate pruning ratio for each module by calculating the linear reconstruction error between the outputs of the pruned and unpruned modules, ensuring overall performance stability. Experimental results show that SlimVLM outperforms existing methods across multiple multimodal benchmarks, achieving state-of-the-art performance.