LVLM KV 캐시를 더욱 가볍게 만들기

Make Your LVLM KV Cache More Lightweight

키-값(KV) 캐시는 현대적인 대규모 시각-언어 모델(LVLM)의 추론 과정에서 사실상 필수적인 구성 요소가 되었습니다. KV 캐시는 대규모 언어 모델(LLM)의 디코딩 효율성을 향상시키지만, LVLM에 직접 적용할 경우 사전 채움(prefill) 단계에서 처리되는 방대한 수의 시각 토큰으로 인해 상당한 GPU 메모리 오버헤드가 발생합니다. 이러한 문제를 해결하기 위해, 우리는 시각 토큰 임베딩 간의 중복성을 활용하여 KV 캐시 크기를 줄이는 새로운 방법인 LightKV를 제안합니다. LightKV는 텍스트 프롬프트의 지침에 따라 시각 토큰 간에 정보를 전달하고 사전 채움 과정에서 점진적으로 압축하여 작동합니다. 이러한 프롬프트 기반의 지침은 기존의 시각 데이터만 사용하는 압축 방식과 차별화됩니다. 우리는 LightKV를 8개의 공개된 LVLM 모델과 8개의 공개 벤치마크 데이터셋(예: MME 및 SeedBench)에 대해 평가했습니다. 실험 결과, LightKV는 원래 시각 토큰의 55%만 사용하면서 (a) 시각 토큰 KV 캐시 크기를 절반으로 줄이고, (b) 최대 40%의 계산량을 줄이며, (c) 일반적인 성능을 유지하면서 기존의 기준 모델보다 훨씬 뛰어난 성능을 보임을 확인했습니다.

Key-Value (KV) cache has become a de facto component of modern Large Vision-Language Models (LVLMs) for inference. While it enhances decoding efficiency in Large Language Models (LLMs), its direct adoption in LVLMs introduces substantial GPU memory overhead due to the large number of vision tokens processed during the prefill stage. To tackle this problem, we propose LightKV, a novel approach that reduces KV cache size by exploiting the redundancy among vision-token embeddings. Guided by text prompts, LightKV employs cross-modality message passing to aggregate informative messages across vision tokens and progressively compress them during prefill. This prompt-aware guidance distinguishes our method from prior vision-only compression strategies. We evaluate LightKV on eight open-source LVLMs across eight public benchmark datasets, e.g., MME and SeedBench. Experimental results demonstrate that with only 55% of the original vision tokens, LightKV (a) halves the vision-token KV cache size, (b) reduces computation by up to 40%, and (c) preserves general-purpose performance while significantly outperforming existing baselines.