LLM 추론을 위한 KV 캐시 관리 전략의 비교 분석

Comparative Characterization of KV Cache Management Strategies for LLM Inference

대규모 언어 모델(LLM)의 효율적인 추론은 각 레이어에서 이전에 계산된 키(key) 및 값(value) 벡터를 저장하는 키-값(KV) 캐시에 점점 더 의존하고 있습니다. 이러한 캐시는 자동 회귀 토큰 생성 과정에서 중복 계산을 최소화하여 계산 복잡도를 2차 함수에서 선형 함수로 낮추는 데 필수적입니다. 그러나 KV 캐시의 크기 증가는 시스템 수준의 상당한 과제를 야기하며, 특히 모델 크기가 증가하고, 컨텍스트 길이가 늘어나고, 동시 요청이 제한된 메모리 리소스를 놓고 경쟁할 때 더욱 그렇습니다. 최근 KV 캐시 관리를 위한 여러 프레임워크가 등장했지만, 메모리 소비량과 추론 성능 측면에서 이들의 비교적 장단점이 충분히 이해되지 않았습니다. 특히 다양한 요청 크기와 모델 구성 하에서 이러한 차이가 어떻게 나타나는지 분석이 필요합니다. 본 연구에서는 최첨단 KV 캐시 관리 프레임워크 세 가지인 vLLM, InfiniGen, 그리고 H2O에 대한 실증적 연구를 수행했습니다. 이러한 프레임워크는 텐서 오프로딩, 토큰 제거 휴리스틱, 그리고 예측적 스케줄링과 같은 기술을 사용하여 메모리 사용량과 성능의 균형을 맞춥니다. 우리는 지연 시간, 처리량, 메모리 사용량 등 다양한 지표를 사용하여 다양한 매개변수(요청률, 모델 크기, 희소성 수준 등)에 따른 성능을 평가했습니다. 연구 결과는 각 프레임워크가 최적의 성능을 보이는 조건을 명확히 밝혀내며, 메모리 및 성능 제약 조건 하에서 가장 적합한 KV 캐시 전략의 선택 및 구성 방법을 제시합니다.

Efficient inference with Large Language Models (LLMs) increasingly relies on Key-Value (KV) caches to store previously computed key and value vectors at each layer. These caches are essential to minimize redundant computation during autoregressive token generation, lowering computational complexity from quadratic to linear. However, the growth of KV caches has posed significant system-level challenges, particularly as model sizes increase, context lengths grow, and concurrent requests compete for limited memory resources. Even though several recent frameworks for KV cache management have emerged, their comparative trade-offs in memory consumption and inference performance have not been fully understood, especially under varying request sizes and model configurations. In this work, we conduct an empirical study of three state-of-the-art KV cache management frameworks: vLLM, InfiniGen, and H2O. These frameworks employ techniques such as tensor offloading, token eviction heuristics, and speculative scheduling to balance memory usage and performance. We evaluate their performance in terms of a range of metrics such as latency, throughput, and memory usage across a spectrum of key parameters including request rates, model sizes, and sparsity levels. Our results pinpoint the conditions for each framework to perform the best, revealing the most suitable selection and configuration of KV cache strategies under memory and performance constraints.