DocOps: 복잡한 문서 작업에서 자율 에이전트의 성능을 검증할 수 있는 표준

DocOps: A Verifiable Benchmark for Autonomous Agents in Complex Document Operations

자율 에이전트 기술이 빠르게 발전함에 따라, 디지털 문서를 안정적으로 처리하는 능력은 범용 인공지능 어시스턴트를 구현하고 복잡한 업무 환경 워크플로우를 자동화하는데 매우 중요합니다. 본 논문에서는 DocOps라는 검증 가능한 평가 프레임워크를 소개합니다. 이는 실제 사례에서 영감을 받아 문서 작업을 원자 단위의 요소와 점진적으로 복잡해지는 워크플로우로 분해하는 계층적 분류 체계를 기반으로 합니다. DocOps를 사용하여 다양한 에이전트 환경에 적용된 대표적인 오픈 및 클로즈 소스 모델을 체계적으로 평가한 결과, 최첨단 구성이라 할지라도 긴 범위의 작업을 처리할 때 심각한 한계점을 드러내는 것을 확인했습니다. 또한, 기존 에이전트들의 문서 조작 행동을 세밀하게 분석하여 장기 상태 추적 실패, 피상적인 의미 검증, 구조 메타데이터의 파괴적인 수정 등 3가지 주요 오류 유형을 발견했습니다. 궁극적으로, 본 연구는 에이전트가 전체 문서 일관성을 유지하는 데 있어 어떤 한계를 가지고 있는지 보여주며, 복잡한 디지털 환경에서 견고하고 비파괴적인 에이전트 설계에 대한 통찰력을 제공합니다.

As autonomous agents rapidly evolve, their ability to reliably manipulate ubiquitous digital documents has become critical for enabling general-purpose AI assistants and automating complex workspace workflows. In this paper, we introduce DocOps, a deterministically verifiable evaluation framework underpinned by a hierarchical taxonomy that deconstructs document operations inspired by real-world practices into atomic dimensions and escalating workflow complexities. Based on DocOps, we systematically evaluate representative closed- and open-source models across various agentic harnesses, revealing that even the most advanced frontier configurations still exhibit profound limitations when handling highly coupled, long-range tasks. Furthermore, a fine-grained analysis of existing agents' manipulation behaviors uncovers 3 key failure modes: long-term state tracking collapse, shallow semantic verification, and destructive editing of structural metadata. Ultimately, our work exposes the capability boundaries of agents in maintaining global document consistency, shedding light on the future design of robust, non-destructive agents for complex digital ecosystems.