딥 러닝 강화 학습이 언제 기준 모델보다 우수한 성능을 보이는가? 적응형 자원 제어에 대한 벤치마크 연구

When Does Deep RL Beat Calibrated Baselines? A Benchmark Study on Adaptive Resource Control

적절하게 조정된 규칙 기반 자동 확장 시스템은 테스트한 모든 워크로드에서 여섯 가지 주요 딥 러닝 강화 학습(DRL) 알고리즘보다 비용 측면에서 더 나은 성능을 보입니다. 그렇다면 DRL이 실제로 유용한 경우는 언제일까요? 본 연구에서는 RLScale-Bench라는 재현 가능한 벤치마크 및 평가 프로토콜을 사용하여 적응형 자원 제어에 대한 DRL의 성능을 분석합니다. 이 프로토콜에서 에이전트는 비용 및 서비스 수준 제약 조건 하에서 동적 워크로드에 컴퓨팅 자원을 할당합니다. PPO, DQN, A2C, SAC, TD3, 그리고 DDPG 알고리즘을 동일한 아키텍처, 학습 예산, 그리고 보상 함수로 설정하고, 여섯 가지 워크로드 패턴과 다섯 개의 시드(총 240회 실행)에 대해 조정된 규칙 기반 모델과 비교하여 성능을 평가했습니다. 또한 Kubernetes Horizontal Pod Autoscaling 환경에서 벤치마크를 구현하고, 데이터 분포 변화에 대한 일반화 성능을 분석했습니다. 세 가지 주요 결과는 기존의 통념에 도전합니다: (i) 조정된 컨트롤러가 모든 여섯 가지 워크로드에서 가장 낮은 비용을 달성하지만, 급증 및 짧은 트래픽에서는 최상의 DRL 에이전트보다 성능이 떨어집니다; (ii) 이산형 액션 알고리즘이 연속형 액션 알고리즘보다 액션 공간 불일치로 인해 제약 조건 위반 측면에서 1~2배 더 높은 성능을 보입니다; (iii) 어떤 단일 알고리즘도 모든 워크로드에서 우위를 점하지 못하며, 순위가 최대 네 단계까지 변동합니다. 강화 학습 기반 자원 제어의 병목 지점은 알고리즘 선택이 아니라 기준 모델 조정, 보상 설계, 그리고 현실적인 평가 프로토콜입니다.

A properly calibrated rule-based autoscaler can beat every one of six mainstream deep reinforcement learning (DRL) algorithms on cost across every workload we test - so when, if ever, does DRL actually help? We study this in RLScale-Bench, a reproducible benchmark and evaluation protocol for DRL on adaptive resource control, where an agent allocates compute to a dynamic workload under cost and service-level constraints. We evaluate PPO, DQN, A2C, SAC, TD3, and DDPG under matched architectures, training budgets, and reward functions against a calibrated rule-based baseline across six workload patterns and five seeds (240 runs), instantiate the benchmark on Kubernetes Horizontal Pod Autoscaling, and probe distribution-shift generalization. Three findings challenge common assumptions: (i) the calibrated controller achieves the lowest cost on all six workloads, though it trails the best RL agents on bursty and flash traffic; (ii) discrete-action algorithms outperform continuous-action ones by one to two orders of magnitude in constraint violations due to action-space mismatch; and (iii) no single algorithm dominates across workloads, with rankings shifting by up to four positions. The bottleneck in RL-based resource control is not algorithm selection but baseline calibration, reward engineering, and realistic evaluation protocols.