KV 패킷: LLM을 위한 재계산 불필요한 컨텍스트 독립적 KV 캐싱

KV Packet: Recomputation-Free Context-Independent KV Caching for LLMs

대규모 언어 모델(LLM)은 추론 지연 시간을 최소화하기 위해 키-값(KV) 캐싱에 크게 의존합니다. 그러나 표준 KV 캐시는 컨텍스트에 따라 달라지기 때문에, 새로운 컨텍스트에서 캐시된 문서를 재사용하려면 어텐션 분포의 변화를 고려하여 KV 상태를 재계산해야 합니다. CacheBlend, EPIC, SAM-KV와 같은 기존 솔루션은 토큰의 일부만 선택적으로 재계산하여 이 문제를 완화하지만, 여전히 상당한 계산 오버헤드(FLOPs)와 증가된 첫 번째 토큰 생성 시간(TTFT) 지연을 발생시킵니다. 본 논문에서는 재계산 없이 캐시 재사용이 가능한 KV 패킷이라는 새로운 프레임워크를 제안합니다. KV 패킷은 캐시된 문서를 불변의 "패킷"으로 취급하며, 가벼운 학습 가능한 소프트 토큰 어댑터로 감싸고, 자체 지도 학습을 통해 컨텍스트 불연속성을 해소하도록 훈련합니다. Llama-3.1과 Qwen2.5에 대한 실험 결과, 제안하는 KV 패킷 방법은 거의 0에 가까운 FLOPs를 달성하고, 재계산을 기반으로 하는 기존 방법보다 낮은 TTFT 지연을 보이며, 동시에 전체 재계산 기준과 비교 가능한 F1 점수를 유지하는 것을 확인했습니다.

Large Language Models (LLMs) rely heavily on Key-Value (KV) caching to minimize inference latency. However, standard KV caches are context-dependent: reusing a cached document in a new context requires recomputing KV states to account for shifts in attention distribution. Existing solutions such as CacheBlend, EPIC, and SAM-KV mitigate this issue by selectively recomputing a subset of tokens; however, they still incur non-negligible computational overhead (FLOPs) and increased Time-to-First-Token (TTFT) latency. In this paper, we propose KV Packet, a recomputation-free cache reuse framework that treats cached documents as immutable ``packets'' wrapped in light-weight trainable soft-token adapters, which are trained via self-supervised distillation to bridge context discontinuities. Experiments on Llama-3.1 and Qwen2.5 demonstrate that the proposed KV Packet method achieves near-zero FLOPs and lower TTFT than recomputation-based baselines, while retaining F1 scores comparable to those of the full recomputation baseline.