AliyunConsoleAgent: 증류 및 강화 학습을 통한 실제 클라우드 환경에서의 웹 에이전트 훈련

AliyunConsoleAgent: Training Web Agents in Real-World Cloud Environments via Distillation and Reinforcement Learning

본 논문에서는 실제 클라우드 콘솔에서 자동화된 문서 검증을 위한 웹 에이전트 프레임워크인 AliyunConsoleAgent를 소개합니다. 주요 클라우드 플랫폼은 수백 가지의 제품을 포함하며, 기능 업데이트가 빠르게 진행됨에 따라 콘솔 UI는 종종 해당 문서와 일치하지 않습니다. 문서화된 절차가 현재 콘솔과 정확하게 일치하고 전체 프로세스를 실행할 수 있는지 확인하는 데 연간 약 4백만 건의 검사가 필요하지만, 실제 검증 범위는 1% 미만에 불과합니다. 최첨단 독점 모델을 기반으로 구축된 에이전트 시스템은 높은 성공률을 달성하지만, 과도한 비용과 데이터 개인 정보 보호 제약으로 인해 대규모 배포가 어렵습니다. 우리는 두 단계의 학습 패러다임을 제안합니다. 먼저, 최첨단 모델에서 추출된 데이터를 사용하여 지도 미세 조정(SFT)을 수행하고, 그 후 그룹 상대 정책 최적화(GRPO)와 실제 클라우드 환경에서의 이중 채널 결과 보상 모델을 사용하여 강화 학습을 진행합니다. 대규모 강화 학습 훈련을 지원하기 위해 Terraform 기반의 사전 프로비저닝 및 LLM 기반의 온디맨드 프로비저닝 기능을 갖춘 고결정성 실행 시스템을 구축하여, 환경 노이즈를 학습 신호로부터 효과적으로 분리합니다. 또한, 백엔드 감사 로그를 기반으로 한 규칙 기반 보상 평가 프로토콜을 도입하여 객관적이고 보상 조작에 강한 결과 판단을 제공합니다. AliyunConsoleAgent 모델은 기계적인 명령 수행에서 시작하여 클라우드 콘솔 및 제품에 대한 이해를 바탕으로 자율적인 의사 결정을 내릴 수 있도록 발전했습니다. 278개의 어려운 작업으로 구성된 벤치마크 테스트에서, 최첨단 모델이 65.34%의 성공률을 보이는 반면, AliyunConsoleAgent-32B는 63.52%의 평균 성공률을 달성하여 기본 모델 대비 20.24%p 향상되었으며, 최첨단 독점 모델과의 격차를 1.82%p (부트스트랩 95% 신뢰 구간 [-1.27, 7.39])까지 줄였습니다. 또한 추론 비용은 92% 절감되었습니다.

We present AliyunConsoleAgent, a web agent framework for automated documentation verification in real-world cloud consoles. Major cloud platforms encompass hundreds of products with rapid feature iteration, causing console UIs to frequently diverge from their corresponding documentation. Verifying that documented procedures accurately reflect the current console and can be executed end-to-end demands an estimated 4 million recurring inspections annually, yet manual coverage remains below 1%. While agent systems built on frontier proprietary models achieve high success rates, their prohibitive cost and data privacy constraints preclude large-scale deployment. We propose a two-stage training paradigm: supervised fine-tuning (SFT) on distilled frontier-model trajectories, followed by reinforcement learning using Group Relative Policy Optimization (GRPO) and a dual-channel outcome reward model in real cloud environments. To support large-scale RL training, we construct a high-determinism rollout system featuring Terraform-based resource pre-provisioning and LLM-driven on-demand provisioning, which effectively isolates environment noise from the training signal. We further introduce a rule-based reward evaluation protocol grounded in backend audit logs, providing objective, reward-hacking-resistant outcome judgment. Our model evolves from mechanical instruction following to autonomous decision-making with cloud console and product-specific understanding. Experiments on a challenging 278-task benchmark where the best frontier model achieves only 65.34% demonstrate that AliyunConsoleAgent-32B achieves a 63.52% mean success rate -- a 20.24 percentage-point improvement over the base model, narrowing the gap to the best frontier proprietary model to 1.82 pp (bootstrap 95% CI [-1.27, 7.39]) -- at 92% lower inference cost.