DUAL-BLADE: 듀얼 경로 NVMe-직접 KV-캐시 오프로딩을 통한 엣지 LLM 추론

DUAL-BLADE: Dual-Path NVMe-Direct KV-Cache Offloading for Edge LLM Inference

대규모 언어 모델(LLM) 추론이 엣지 AI 시스템에 점점 더 많이 배포됨에 따라, 제한된 메모리 환경에서 효율적인 실행이 요구됩니다. 주요 과제는 종종 사용 가능한 장치 메모리를 초과하는 키-값(KV) 캐시에서 비롯됩니다. NVMe 기반 오프로딩은 확장 가능한 용량을 제공하지만, 기존 파일 기반 설계는 커널 페이지 캐시에 크게 의존하여 메모리 압박 하에서 캐시 스래싱, 예측 불가능한 지연 및 높은 소프트웨어 오버헤드를 유발합니다. 본 논문에서는 런타임 메모리 가용성에 따라 KV 텐서를 페이지 캐시 경로 또는 NVMe-직접 경로 중 하나에 동적으로 할당하는 듀얼 경로 KV 레지던시 프레임워크인 DUAL-BLADE를 제안합니다. NVMe-직접 경로는 파일 시스템을 우회하여 KV 텐서를 연속적인 논리 블록 주소(LBA) 영역에 매핑하여 낮은 오버헤드로 직접적인 저장 장치 접근을 가능하게 합니다. DUAL-BLADE는 또한 저장 장치 I/O와 GPU DMA를 겹쳐서 실행하는 적응형 파이프라인 병렬성을 통합하여 추론 처리량을 향상시킵니다. 실험 결과는 DUAL-BLADE가 I/O 병목 현상을 크게 완화하여 다양한 메모리 환경에서 프리필 및 디코딩 지연을 각각 최대 33.1% 및 42.4%까지 줄이고, SSD 활용률을 2.2배 향상시킴을 보여줍니다.

The increasing deployment of Large Language Model (LLM) inference on edge AI systems demands efficient execution under tight memory budgets. A key challenge arises from Key-Value (KV) caches, which often exceed available device memory. Although NVMe-based offloading offers scalable capacity, existing file-based designs rely heavily on the kernel page cache, leading to cache thrashing, unpredictable latency, and high software overhead under memory pressure. We present DUAL-BLADE, a dual-path KV residency framework that dynamically assigns KV tensors to either a page-cache path or an NVMe-direct path based on runtime memory availability. The NVMe-direct path bypasses the filesystem by mapping KV tensors to contiguous logical block address (LBA) regions, enabling low-overhead direct storage access. DUAL-BLADE further incorporates adaptive pipeline parallelism to overlap storage I/O with GPU DMA, improving inference throughput. Our evaluation shows that DUAL-BLADE substantially mitigates I/O bottlenecks, reducing prefill and decode latency by up to 33.1% and 42.4%, respectively, while improving SSD utilization by 2.2x across diverse memory budgets.