LongHorizon-Harness: 실세계 과제를 위한 장기 계획 에이전트 발전

LongHorizon-Harness: Advancing Long-Horizon Agents for Real-World Tasks

최근 대규모 언어 모델(LLM) 기반 에이전트는 지속적인 추론, 도구 사용, 그리고 여러 상호 의존적인 단계를 거치는 장기 과제를 수행하는 경우가 늘고 있습니다. 하지만 기존 에이전트 시스템은 작업 실행, 작업 상태, 그리고 완료 평가를 점점 더 큰 맥락 안에서 관리하기 때문에, 상태 추적이 어려워지고 부정확한 자체 평가가 이후 결정에 영향을 미칠 수 있습니다. 본 연구에서는 장기적인 실행을 작업 상태 관리 문제로 재정의하고, LongHorizon-Harness라는 새로운 프레임워크를 제안합니다. 이 프레임워크는 작업 상태를 명시적으로 유지하며, 환경으로부터 독립적으로 검증된 사실만을 사용하여 상태를 업데이트합니다. Manage-Execute-Audit(MEA) 루프는 관리자 모듈을 통해 작업 상태를 유지하고 다음 하위 작업을 결정하며, 새로운 컨텍스트에서 실행하는 실행기 모듈을 사용하여 해당 작업을 수행하고, 읽기 전용 감사 모듈을 통해 다음 단계 전에 결과 환경 상태를 검증합니다. Lightweight AgentAdapter는 기존 에이전트 루프를 수정하지 않고도 다양한 모델과 프레임워크 백엔드를 교체할 수 있도록 지원합니다. LongHorizon-Harness는 WeaveBench에서 Qwen~3.7-Plus의 성능을 51.8%에서 80.7%로, Terminal-Bench~2.1에서는 69.7%에서 77.2%로, OSWorld~2.0에서는 2.8%에서 8.3%로 향상시켰습니다. 또한 Claude Opus~4.7의 성능을 OSWorld2.0 데이터셋의 일부에서 20.0%에서 34.3%로 향상시켜 다양한 모델, 프레임워크, 그리고 상호 작용 영역에서 일관된 성능 향상을 보여줍니다.

Large language model (LLM) agents increasingly undertake long-horizon tasks that require sustained reasoning, tool use, and revision across many interdependent steps. However, existing agent harnesses maintain task execution, task state, and completion assessment within a growing context, making the state difficult to track and allowing incorrect self-assessments to propagate into later decisions. We reformulate long-horizon execution as a task-state management problem and propose LongHorizon-Harness, which maintains the task state explicitly outside execution and updates it only with facts independently verified from the environment. Its Manage-Execute-Audit(MEA) loop uses a manager to maintain the task state and determine the next subtask, a fresh-context executor to perform it, and a read-only auditor to verify the resulting environment state before the next round. A lightweight AgentAdapter supports interchangeable model and harness backends without modifying their native agent loops. LongHorizon-Harness improves Qwen~3.7-Plus from 51.8% to 80.7% on WeaveBench, from 69.7% to 77.2% on Terminal-Bench~2.1, and from 2.8% to 8.3% on OSWorld~2.0. It also raises Claude Opus~4.7 from 20.0% to 34.3% on an OSWorld2.0 subset, demonstrating consistent gains across models, harnesses, and interaction domains.