EvoHarness-RL: 장기적인 LLM 에이전트를 위한 자체 진화형 런타임 하니스 학습

EvoHarness-RL: Learning Self-Evolving Runtime Harness for Long-Horizon LLM Agents

장기적인 LLM(Large Language Model) 에이전트는 상태 유지, 진행 상황 추적, 도구 호출, 결과 검증 및 상호 작용 간 경험 재사용을 위해 점점 더 외부 실행 지원에 의존합니다. 그러나 효과적인 하니스 사용은 노이즈가 많은 상호 작용 기록으로부터의 상태 형성 및 런타임 시 외부 상태 접근 제어라는 두 가지 밀접하게 관련된 과제를 야기합니다. 기존 에이전트는 일반적으로 프롬프트, 휴리스틱 또는 도메인별 규칙을 통해 이러한 문제를 처리하며, 결과적으로 외부 작업 공간과 그 사용 정책은 수동으로 설계됩니다. 이러한 문제를 해결하기 위해, 우리는 에이전트가 오프라인에서 하니스 정책을 학습하고 런타임 태스크 실행 중에 이를 활용하여 외부 하니스 상태를 구축하고 업데이트하는 하니스 정책 학습 문제를 연구합니다. 우리는 Belief(신념), Progress(진행 상황) 및 Experience(경험)를 정책에 노출시키는 EvoHarness-RL을 제안합니다. 지도 학습 기반의 하니스 미세 조정은 기본 에이전트에게 하니스 액션 공간과 유용한 외부 상태 구축 방법을 가르쳐줍니다. 또한, 비용 인지 GRPO(Guided Reinforcement Policy Optimization)는 장기적인 상호 작용 동안 해당 상태를 선택적으로 읽고 업데이트하며 통합하는 정책을 탐색합니다. Qwen3-8B LLM을 사용하여 ALFWorld에 적용한 EvoHarness-RL은 96.9%의 성공률을 달성했으며, 다음 두 가지 중요한 동향을 보여줍니다. 첫째, 하니스 어닐링(harness annealing)은 반복적인 하니스 사용 패턴을 모델 정책 내에서 학습하여 에이전트가 빈번한 하니스 호출로부터 선택적인 외부 상태 접근으로 전환되도록 합니다. 둘째, 하니스 진화(harness evolution)는 진행 상황 업데이트 및 경험 통합을 통해 하니스를 간결하고 태스크에 적응하는 상태 기반 구조로 발전시킵니다. 이러한 결과는 장기적인 에이전트가 단순히 더 강력한 도구나 더 큰 메모리를 추가하는 것 외에도 외부 하니스 작업 공간과의 구성 및 조정을 위한 학습 가능한 정책으로부터 이점을 얻을 수 있음을 시사합니다.

Long-horizon LLM agents increasingly rely on external execution support to maintain state, track progress, invoke tools, verify outcomes, and reuse experience across interactions. However, effective harness use raises two coupled challenges: state formation from noisy interaction traces and runtime control over external-state access. Existing agents usually handle both through prompts, heuristics, or domain-specific conventions, leaving the external workspace and its usage policy manually engineered. To address this, we study the problem of harness policy learning, where agents learn harness policies offline and deploy them to construct and update external harness state online during runtime task execution. We introduce EvoHarness-RL, which exposes Belief, Progress, and Experience (BPE) as policy-facing harness state. Supervised harness fine-tuning teaches the base agent the harness action space and how to construct useful external state, while cost-aware GRPO explores coordination policies to selectively read, update, and consolidate that state during long-horizon interaction. Instantiated on ALFWorld with a Qwen3-8B LLM, EvoHarness-RL reaches 96.9% success and reveals two key dynamics: harness annealing, where training internalizes recurring harness-use patterns into the model policy and shifts the agent from frequent harness calls toward selective external-state access, and harness evolution, where progress updates and experience consolidation refine the harness into a compact, task-adaptive state substrate. These results suggest that long-horizon agents benefit from trainable policies for constructing and coordinating with external harness workspaces, beyond simply adding stronger tools or larger memories.