OpenForgeRL: 모든 환경에서 하드웨어에 최적화된 에이전트 학습

OpenForgeRL: Train Harness-native Agents in Any Environment

최신 인공지능 에이전트는 다중 단계 추론, 도구 사용, 외부 시스템 접근 등을 위해 Claude Code, Codex, OpenClaw과 같은 복잡한 추론 환경(harness)에 의존합니다. 이러한 환경은 강력하지만, 개방형 인프라를 사용하여 엔드-투-엔드 학습을 어렵게 만듭니다. 왜냐하면 기존의 SFT/RL 시스템은 상태 정보를 유지하며 멀티 프로세스로 작동하는 추론 환경을 직접적으로 지원하지 않기 때문입니다. 이러한 문제를 해결하기 위해, 우리는 다양한 환경에서 하드웨어 기반 에이전트를 엔드-투-엔드로 학습할 수 있는 오픈 소스 프레임워크인 OpenForgeRL을 제안합니다. OpenForgeRL은 표준 RL 코드(예: veRL)를 위한 훈련 데이터를 기록하면서 추론 환경의 모델 호출을 처리하는 경량 프록시와, 각 실행을 자체 원격 컨테이너에서 실행하는 Kubernetes 오케스트레이터를 사용하여 다양한 하드웨어 환경에서 대규모 학습을 가능하게 합니다. OpenForgeRL은 학습과 추론을 분리하여 연구자들이 실제 사용되는 하드웨어 환경에서 에이전트를 쉽게 학습하고, 분석하며, 개선할 수 있도록 지원합니다. 우리는 다양한 복잡한 하드웨어 및 환경에서 우리의 프레임워크를 검증했습니다. 여기에는 도구/클로 기반 에이전트와 멀티모달 GUI 브라우저 및 컴퓨터 사용 에이전트가 포함됩니다. OpenForgeClaw은 수백에서 수천 개의 작업만으로 ClawEval에서 31.7의 pass^3과 55.9의 pass@3, QwenClawBench에서 33.7을 달성했습니다. OpenForgeGUI는 OSWorld-Verified에서 37.7, Online-Mind2Web에서 63.0, WebVoyager에서 72.3의 성능을 보였습니다. 이러한 결과는 유사한 크기의 기존 모델보다 대부분의 벤치마크에서 우수한 성능을 나타내며, 특히 GUI 환경에서는 훨씬 더 큰 모델과도 경쟁하거나 능가하는 결과를 보여줍니다. 또한, 우리는 추론 환경(예: ZeroClaw, OpenClaw, Codex) 선택과 강화 학습이 에이전트의 행동에 미치는 영향을 분석했습니다. 일부 하드웨어는 다른 하드웨어보다 학습하기 훨씬 어렵다는 것을 확인했으며, 강화 학습은 자기 검증, 도구 활용 범위 확대 및 다단계 계획 완료와 같은 에이전트의 신뢰성을 향상시키지만, 오류 복구와 같은 중요한 능력은 여전히 약하다는 것을 발견했습니다.

Modern AI agents rely on elaborate inference harnesses such as Claude Code, Codex, and OpenClaw to drive multi-turn reasoning, tool use, and access to external systems. While powerful, these complex harnesses also make agents hard to train end-to-end with open infrastructure, whose SFT/RL stacks cannot natively express stateful, multi-process harness inference. To address this, we present OpenForgeRL, an open-source framework for training harness-based agents end-to-end in diverse environments. OpenForgeRL achieves this with a lightweight proxy that serves the harness's model calls while recording them as training data for a standard RL codebase (e.g., veRL), and a Kubernetes orchestrator that runs each rollout in its own remote container, together enabling training on any harness in any environment at scale. By decoupling training and inference, OpenForgeRL allows researchers to easily train, study, and improve agents directly in the real harnesses and environments they are deployed with. We validate our framework across diverse, complex harnesses and environments, spanning tool/claw-based agents and multimodal GUI browser- and computer-use agents. Using only hundreds to a few thousand tasks, OpenForgeClaw reaches 31.7 pass^3 and 55.9 pass@3 on ClawEval and 33.7 on QwenClawBench. OpenForgeGUI reaches 37.7 on OSWorld-Verified, 63.0 on Online-Mind2Web, and 72.3 on WebVoyager. Both outperform open baselines of similar size on nearly all benchmarks, and in the GUI setting match or surpass models several times larger. Beyond benchmarks, we analyze how harness choice (e.g., ZeroClaw, OpenClaw, Codex) and RL shape agent behavior. We find that some harnesses are substantially harder to learn than others, and that RL improves agentic reliability, such as self-verification, tool coverage, and completing multi-step plans, though critical abilities such as error recovery remain weak.