정책 경사 기반 적응적 배치 처리

Adaptive Inference Batching using Policy Gradients

추론 서비스 시스템은 일관성 없는 다양한 작업 부하 하에서 처리량과 지연 시간을 균형 있게 유지해야 하지만, 현재 업계 표준은 수동 조정이 필요하고 변화하는 트래픽에 적응할 수 없는 정적 배치 정책입니다. 본 연구에서는 강화 학습(RL)을 사용하여 이러한 휴리스틱보다 성능이 뛰어난 적응적인 배치 및 라우팅 정책을 학습할 수 있는지 조사합니다. REINFORCE 및 PPO 에이전트를 훈련하기 위해, 대기 이론 및 실제 데이터 추적(Azure Functions, BurstGPT)과 검증된 이산 이벤트 시뮬레이터를 사용했습니다. 문제 해결 방식을 대기 상태, 요청 유형 및 GPU 가용성을 고려하는 MDP(Markov Decision Process)로 정의하고, 표준 포아송 트래픽, 극단적인 버스트, 실제 데이터 추적 및 이질적인 멀티-GPU 라우팅 환경에서 성능을 평가했습니다. 본 연구의 주요 결과는 시스템 문제에서 강화 학습의 가치를 결정하는 명확한 조건이 존재한다는 것입니다. 단일 GPU 환경에서는 잘 조정된 정적 배치 정책이 이미 포아송 분포와 유사한 트래픽 패턴 하에서 거의 최적에 가까우며, 강화 학습은 미미한 성능 향상(+0.1% ~ +1.0%)만을 제공합니다. 그러나 멀티-GPU 이질적인 라우팅 환경에서는 빠른 요청과 느린 요청이 공유 자원을 놓고 경쟁하는 상황에서, 에이전트는 작업 분리 정책을 발견하여 Head-of-Line blocking 현상을 제거하고, Round-Robin 방식보다 3.5배 (348%) 향상된 성능을 보였으며, 가장 강력한 휴리스틱 기준(Shortest-Queue)보다 48% 더 나은 성능을 보였습니다. 또한 처리량은 60% 증가하고 지연 시간은 25% 감소하며 SLA 제약을 준수했습니다. 학습에 사용된 합성 포아송 트래픽 외에도, 이 정책은 실제 버스트 및 실제 데이터 트래픽에서도 일반화됩니다. 또한 어텐션 메커니즘을 적용한 정책 네트워크는 일반적인 MLP(Multi-Layer Perceptron) 기준보다 약 20% 더 빠르게 수렴합니다. 이러한 결과는 강화 학습의 장점이 단일 자원 기반의 시간 제어보다는 조합적이고 다중 자원을 활용하는 의사 결정에 집중되어 있음을 시사하며, 이는 실제 추론 인프라에서 학습된 정책이 엔지니어링 비용을 정당화할 수 있는지 판단하는 데 중요한 실질적인 기준입니다.

Inference serving systems must balance throughput and latency under bursty, heterogeneous workloads, yet the industry standard remains static batching policies that require manual tuning and cannot adapt to shifting traffic. We investigate whether reinforcement learning (RL) can learn adaptive batching and routing policies that outperform these heuristics, training REINFORCE and PPO agents on a discrete-event simulator validated against queuing theory and production traces (Azure Functions, BurstGPT). We formulate the problem as an MDP over queue state, request type and GPU availability, evaluating across standard Poisson traffic, extreme bursts, real-world traces and heterogeneous multi-GPU routing. Our central finding is a clear boundary condition for RL's value in systems problems. In single-GPU settings, a well-tuned static batching policy is already near-optimal under Poisson-like arrivals and RL offers only marginal gains (+0.1% to +1.0%). In multi-GPU heterogeneous routing, however, where fast and slow requests compete for shared resources, the agent discovers a workload-segregation policy that eliminates Head-of-Line blocking, yielding a 3.5x (348%) improvement over Round-Robin and a 48% improvement over the strongest heuristic baseline (Shortest-Queue), with 60% higher throughput and 25% lower latency while respecting SLA constraints. The policy generalizes to unseen bursty and real-world traffic despite training only on synthetic Poisson arrivals and an attention-augmented policy network converges roughly 20% faster than an MLP baseline. These results suggest RL's advantage over engineered heuristics concentrates in combinatorial, multi-resource decisions rather than single-resource temporal scheduling, a practical distinction for deciding where learned policies justify their engineering cost in production inference infrastructure.