GUIDE: 계층적 진단을 통한 해석 가능한 GUI 에이전트 평가

GUIDE: Interpretable GUI Agent Evaluation via Hierarchical Diagnosis

GUI 에이전트의 평가는 독특한 어려움을 안고 있습니다. 그 이유는 경로가 길고 시각적으로 복잡하며 개방적인 특성을 가지지만, 평가는 정확할 뿐만 아니라 해석 가능해야 하기 때문입니다. 기존의 접근 방식은 일반적으로 전체 동작-관찰 시퀀스에 대한 단일하고 전체적인 판단을 내립니다. 이러한 전략은 장기적인 작업에서 신뢰성이 떨어지며, 에이전트가 실패하는 원인에 대한 통찰력을 제공하지 않는 이분법적인 결과를 초래합니다. 이러한 불투명성은 평가가 에이전트 개발을 위한 진단 도구로서의 유용성을 제한합니다. 우리는 GUI Understanding and Interpretable Diagnostic Evaluation(GUIDE)라는 프레임워크를 소개합니다. GUIDE는 GUI 작업의 구성적 구조를 반영하는 세 단계로 구성된 경로 평가를 수행합니다. 경로 분할(Trajectory Segmentation)은 전체 경로를 의미적으로 일관된 하위 작업 단위로 나눕니다. 하위 작업 진단(Subtask Diagnosis)은 각 단위를 문맥 내에서 평가하고, 완료 여부를 판단하며, 구조화된 오류 분석과 함께 개선 방안을 제시합니다. 전체 요약(Overall Summary)은 각 하위 작업의 진단을 종합하여 작업 수준의 판단을 내립니다. GUIDE는 전체 경로가 아닌 제한된 하위 작업 단위를 처리함으로써, 작업 복잡도가 증가함에 따라 기존 평가 도구의 성능 저하를 유발하는 문맥 과부하를 완화합니다. 우리는 GUIDE를 세 가지 벤치마크에서 검증했습니다. 여기에는 932개의 경로를 포함하는 산업용 전자상거래 데이터 세트, 1302개의 경로를 포함하는 5가지 웹 에이전트 작업을 다루는 AGENTREWARDBENCH, 그리고 모바일 장치 제어를 위한 AndroidBench가 포함됩니다. 모든 환경에서 GUIDE는 기존 평가 도구보다 훨씬 뛰어난 성능을 보였습니다. 특히 가장 강력한 기준 모델보다 최대 5.35%p 더 높은 정확도를 달성했으며, 에이전트 개선에 직접적으로 도움이 되는 구조화된 진단 보고서를 생성합니다.

Evaluating GUI agents presents a distinct challenge: trajectories are long, visually grounded, and open-ended, yet evaluation must be both accurate and interpretable. Existing approaches typically apply a single holistic judgment over the entire action-observation sequence-a strategy that proves unreliable on long-horizon tasks and yields binary verdicts offering no insight into where or why an agent fails. This opacity limits the utility of evaluation as a diagnostic tool for agent development. We introduce GUIDE (GUI Understanding and Interpretable Diagnostic Evaluation), a framework that decomposes trajectory assessment into three sequential stages mirroring the compositional structure of GUI tasks. Trajectory Segmentation partitions the full trace into semantically coherent subtask units. Subtask Diagnosis evaluates each unit in context, assigning a completion verdict and generating a structured error analysis with corrective recommendations. Overall Summary aggregates per-subtask diagnoses into a task-level judgment. By operating on bounded subtask segments rather than full trajectories, GUIDE mitigates the context overload that degrades existing evaluators as task complexity grows. We validate GUIDE on three benchmarks: an industrial e-commerce dataset of 932 trajectories, AGENTREWARDBENCH spanning five web agent tasks with 1302 trajectories, and AndroidBench for mobile device control. Across all settings, GUIDE substantially outperforms existing evaluators-achieving up to 5.35 percentage points higher accuracy than the strongest baseline-while producing structured diagnostic reports that directly inform agent improvement.