KAIROS: 상태 기반, 상황 인식, 전력 효율적인 에이전트 기반 추론 서비스

KAIROS: Stateful, Context-Aware Power-Efficient Agentic Inference Serving

전력은 AI 추론의 핵심적인 병목 현상으로 자리 잡았습니다. 특히, 에이전트 AI가 주요 작업 부하 형태로 부상하면서 이러한 문제는 더욱 심각해지고 있습니다. 기존의 전력 관리 기술은 대부분 단일 턴 LLM 서비스를 중심으로 이루어졌습니다. 하지만, 저희의 분석 결과에 따르면 에이전트 서비스는 근본적으로 다른 방식으로 동작합니다. 각 요청은 도구 사용이 섞인 여러 단계에 걸쳐 변화하는 장기적인 컨텍스트를 포함하며, GPU 주파수를 낮추면 시스템이 '스로틀링' 상태에 빠져 메모리 압박이 심화되어 성능과 전력 효율이 모두 저하될 수 있습니다. 이러한 관찰 결과는 에이전트 서비스를 위한 전력 최적화가 기존 방식과는 다른 접근 방식을 요구한다는 것을 보여줍니다. 저희는 에이전트 AI 서비스에 대한 상황 인식 기반의 전력 최적화 시스템인 KAIROS를 제안합니다. KAIROS는 에이전트 컨텍스트를 주요 제어 신호로 활용하여 GPU 주파수, 인스턴스별 동시 처리량, 그리고 다중 인스턴스 요청 배치를 통합적으로 관리합니다. 이를 통해 KAIROS는 메모리 여유가 있는 경우 전력을 절약하면서도 스로틀링을 방지하고 성능 목표를 유지할 수 있습니다. KAIROS는 전반적으로 에이전트 수준에서 요청을 추적하고, 컨텍스트 증가 및 에이전트 진행 상황에 따라 로컬 제어를 조정하며, 에이전트를 여러 인스턴스에 분산하여 전력 효율과 메모리 안정성을 동시에 향상시킵니다. 다양한 소프트웨어 및 데이터 엔지니어링 에이전트 작업에서 KAIROS를 평가한 결과, 평균 27% (최대 39.8%)의 전력 감소 효과를 보였으며, 성능 목표를 충족했습니다.

Power has become a central bottleneck for AI inference. This problem is becoming more urgent as agentic AI emerges as a major workload class, yet prior power-management techniques focus almost entirely on single-turn LLM serving. Our analysis shows that agentic serving behaves fundamentally differently: each request carries long-lived context that evolves across tool-interleaved turns, and lowering GPU frequency can push the system into a thrashing regime where memory pressure sharply worsens both performance and power efficiency. These observations show that power optimization for agentic serving requires rethinking. We present KAIROS, a context-aware power optimization system for agentic AI serving. KAIROS uses agent context as a first-class control signal to jointly manage GPU frequency, per-instance concurrency, and multi-instance request placement. This enables KAIROS to save power when memory headroom exists while avoiding thrashing and preserving performance targets. At a high level, KAIROS tracks requests at agent granularity, adapts local control to context growth and agent progress, and routes agents across instances to jointly improve power efficiency and memory stability. Evaluated across diverse software and data engineering agentic tasks, KAIROS achieves an average of 27% (up to 39.8%) power reduction while meeting the performance targets.