UltraQuant: 컨텍스트 기반 에이전트를 위한 4비트 키-값(KV) 캐싱

UltraQuant: 4-bit KV Caching for Context-Heavy Agents

컨텍스트 기반 에이전트는 키-값(KV) 캐시에 상당한 부담을 주는데, 긴 접두어가 짧은 상호작용에서 반복적으로 사용되고, 동시성 설정은 시스템의 GPU 활용도를 결정합니다. 본 연구에서는 이러한 환경에 적합한 4비트 KV 캐시 압축 기법을 제안하며, TurboQuant 방식의 회전 및 코드북 양자화를 품질 기준점으로 사용하고, vLLM FP8 KV 캐싱을 배포 기준으로 사용합니다. 본 논문은 다음과 같은 세 가지 주요 내용을 다룹니다. 첫째, 4비트 KV 캐싱을 멀티 라운드 에이전트 워크로드에 적용하여 작업 품질, 캐시 잔류율 및 처리량과 같은 요소를 동시에 측정하는 프레임워크를 제시합니다. 둘째, 비대칭적인 K/V 처리, Walsh-Hadamard 회전, QJL 제거 및 블록 단위 변형을 포함한 4비트 방식의 안정성을 확보하기 위한 실제 설계 방안을 설명합니다. 셋째, AMD GPU에서 최적화된 디코딩-어텐션 커널과 UltraQuant이라는 FP4 근사 경로를 제시하며, 이 경로는 FP8 쿼리, FP4 KV 텐서, UE8M0 그룹 스케일 및 CDNA4 아키텍처의 네이티브 스케일드-MFMA 지원을 사용합니다. 실험 결과, 장문 컨텍스트와 멀티 라운드를 사용하는 에이전트 워크로드에서 UltraQuant은 캐시 부담이 큰 후반 단계에서 첫 번째 토큰 생성 시간을 3.47배 단축하고 (전체 라운드에서 2.3배), 출력 처리량을 FP8 KV 기준보다 1.63배 향상시키는 것을 확인했습니다.

Context-heavy agents place unusual pressure on the key-value (KV) cache: long prefixes are reused across many short turns, while concurrency determines whether the serving system can keep GPUs utilized. We study 4-bit KV-cache compression for this setting, using TurboQuant-style rotation and codebook quantization as a quality anchor and vLLM FP8 KV caching as the deployment anchor. We report three contributions. First, we frame 4-bit KV caching around multi-round agent workloads where task quality, cache residency, and serving throughput must be measured jointly. Second, we describe the practical design choices needed to make the 4-bit path robust, including asymmetric K/V treatment, Walsh-Hadamard rotation, QJL removal, and block-scale variants. Third, we present serving optimizations on AMD GPUs, including optimized decode-attention kernels and UltraQuant, an FP4 approximation path that uses FP8 queries, FP4 KV tensors, UE8M0 group scales, and native scaled-MFMA support on CDNA4. On a long-context, multi-turn agentic workload, UltraQuant cuts P50 time-to-first-token by 3.47x in the cache-pressured late rounds (2.3x across all rounds) and raises output throughput by 1.63x over the FP8 KV baseline.