다중 모드 언어 모델에서 KV 캐시 관성을 위한 계층적 적응형 제거

Hierarchical Adaptive Eviction for KV Cache Management in Multimodal Language Models

시각 정보를 대규모 언어 모델(LLM)에 통합함으로써 다중 모드 LLM(MLLM)이 가능해졌지만, Transformer 아키텍처의 이차적인 메모리 및 계산 비용은 여전히 병목 현상입니다. 기존의 KV 캐시 제거 전략은 시각 및 텍스트 토큰 간의 이질적인 어텐션 분포를 해결하지 못하여 최적의 효율성을 달성하지 못하거나 성능이 저하됩니다. 본 논문에서는 MLLM에서 텍스트-시각 토큰 상호 작용을 최적화하는 KV 캐시 제거 프레임워크인 계층적 적응형 제거(HAE)를 제안합니다. HAE는 사전 학습 단계에서 시각 토큰의 희소성과 어텐션 변동성을 활용하여 Dual-Attention Pruning을 구현하고, 디코딩 단계에서는 운영체제의 Recycle Bin에서 영감을 받은 Dynamic Decoding Eviction Strategy를 적용합니다. HAE는 모든 레이어에서 KV 캐시 사용량을 최소화하고, 인덱스 브로드캐스팅을 통해 계산 오버헤드를 줄이며, 이론적으로 탐욕적인 전략보다 우수한 정보 무결성을 보장하고 더 낮은 오류 경계를 갖도록 설계되었습니다. 실험적으로, HAE는 이미지 이해 작업에서 정확도 손실(0.3% 감소)을 최소화하면서 KV 캐시 메모리를 41% 줄였으며, Phi3.5-Vision-Instruct 모델에서 스토리 생성 추론 속도를 1.5배 향상시키면서 출력 품질을 유지했습니다.

The integration of visual information into Large Language Models (LLMs) has enabled Multimodal LLMs (MLLMs), but the quadratic memory and computational costs of Transformer architectures remain a bottleneck. Existing KV cache eviction strategies fail to address the heterogeneous attention distributions between visual and text tokens, leading to suboptimal efficiency or degraded performance. In this paper, we propose Hierarchical Adaptive Eviction (HAE), a KV cache eviction framework that optimizes text-visual token interaction in MLLMs by implementing Dual-Attention Pruning during pre-filling (leveraging visual token sparsity and attention variance) and a Dynamic Decoding Eviction Strategy (inspired by OS Recycle Bins) during decoding. HAE minimizes KV cache usage across layers, reduces computational overhead via index broadcasting, and theoretically ensures superior information integrity and lower error bounds compared to greedy strategies, enhancing efficiency in both comprehension and generation tasks. Empirically, HAE reduces KV-Cache memory by 41\% with minimal accuracy loss (0.3\% drop) in image understanding tasks and accelerates story generation inference by 1.5x while maintaining output quality on Phi3.5-Vision-Instruct model.