StructAgent: 통일된 인과 구조를 활용한 장기 디지털 에이전트

StructAgent: Harness Long-horizon Digital Agents with Unified Causal Structure

최근 대규모 언어 모델(LLM) 및 시각-언어 모델(VLM)의 발전으로 컴퓨터 사용을 위한 더욱 강력한 디지털 에이전트가 등장했습니다. 그러나 실제 작업은 종종 장기간에 걸쳐 진행되며, 축적된 관찰 결과, 중간 수정 사항, 실패 사례 및 부분적으로 완료된 실행 결과와 같은 변화하는 컨텍스트를 포함합니다. 기존 에이전트는 일반적으로 원시 상호 작용 기록을 기반으로 작동하므로, 작업 진행 상황을 해석하고 검증하며 복구하기 어렵고, 이는 결국 신뢰할 수 있는 장기 실행을 제한합니다. 본 논문에서는 이러한 문제를 해결하려면 에이전트의 상태와 워크플로우를 모두 작업 진행 상황에 대한 통일된 인과적 표현을 중심으로 명시적으로 구조화해야 한다고 주장합니다. 우리는 extbf{StructAgent}라는, 상태 중심 프레임워크를 제시하며, 이 프레임워크는 간결하고 검증 가능한 작업 진행 상황을 유지하기 위한 통일된 상태와 검증 기반의 상태 전환을 통해 진행 상황을 규제하는 구조화된 워크플로우를 도입합니다. 이러한 설계에 기반하여, StructAgent는 명시적인 진행 상황 체크포인팅, 증거 기반의 작업 완료, 표적 오류 복구 및 도구 지원 실행 기능을 제공하며, 모든 진행 상황 업데이트가 검증을 통해 이루어지도록 보장합니다. 광범위한 실험 결과, StructAgent는 다양한 LLM 및 VLM 백본의 장기 컴퓨터 사용 작업 성능을 지속적으로 향상시키는 것으로 나타났습니다. OSWorld-Verified 데이터셋에서 Qwen3.5-9B 모델의 성공률이 27.0%에서 46.9%로, Qwen3.5-27B 모델의 성공률이 31.6%에서 62.2%로 향상되었으며, MiniMax-M3 모델을 사용하여 새로운 오픈 소스 최고 성능인 78.9%를 달성했습니다. 또한 동일한 프레임워크는 데스크톱 환경을 넘어 Minecraft로 일반화되어 설계의 범용성을 입증합니다.

Recent advances in large language models (LLMs) and vision-language models (VLMs) have enabled increasingly capable digital agents for computer use. However, real-world tasks are often long-horizon and involve evolving contexts containing accumulated observations, intermediate edits, failed attempts, and partially completed executions. Existing agents typically operate over raw interaction history, making task progress difficult to interpret, verify, and recover, which ultimately limits reliable long-horizon execution. In this paper, we argue that addressing this challenge requires explicitly structuring both the agent's state and workflow around a unified causal representation of task progress. We present \textbf{StructAgent}, a state-centered framework that introduces a unified state for maintaining compact, verifiable task progress and a structured workflow that regulates progress through verifier-backed state transitions. Building on this design, StructAgent further enables explicit progress checkpointing, evidence-driven task completion, targeted failure recovery, and tool-supported execution, while ensuring that all progress updates remain grounded in verification. Extensive experiments demonstrate that StructAgent consistently improves a wide range of LLM and VLM backbones on long-horizon computer-use tasks. On OSWorld-Verified, it improves Qwen3.5-9B from 27.0\% to 46.9\% success rate and Qwen3.5-27B from 31.6\% to 62.2\%, while achieving a new open-source state of the art of 78.9\% with MiniMax-M3. Moreover, the same framework generalizes beyond desktop environments to Minecraft, demonstrating the generality of our design.