GUI 에이전트가 정확하지만 느린 이유는 무엇인가? 사전 컴파일된 정책 트리를 활용하여 결정 시간의 핵심 경로를 분석하다

Why Are GUI Agents Correct but Late? Decode on the Decision-Time Critical Path, Tested with Pre-Compiled Policy Trees

컴퓨터 사용 에이전트는 종종 일시적인 GUI 이벤트에서 실패하는데, 이는 관련 창이 이미 닫힌 후에야 올바른 동작을 수행하기 때문입니다. 우리는 이러한 주요 원인을 의사 결정 시간에 발생하는 비용이 많이 드는 자기 회귀 디코딩으로 규정했습니다. 본 논문에서는 Adaptive Anticipatory Policy Trees (AAPT)를 제안합니다. AAPT는 기존 모델을 변경하지 않고도 이러한 지연을 제거합니다. 유휴 화면 기간 동안, 동일한 고정된 멀티모달 모델은 관찰 가능한 조건부 정책 트리를 구축합니다. 이 트리에는 사전 승인된 동작과 분기별 마감 기한이 포함됩니다. 트리의 크기는 모델 자체의 디코딩 지연을 고려하여 결정됩니다. 이벤트가 발생하면, 경량화된 옵저버는 변경 감지 프레임을 준비된 분기와 매칭하고, 새로운 텍스트를 생성하지 않고 즉시 해당 동작을 실행합니다. 사전 등록된 종료 지점을 사용한 쌍대 비교 실험에서, AAPT는 정확한 McNemar 검정을 통해 성공률을 0.50에서 0.79로 향상시켰습니다 (p=1.8×10⁻³), 단 하나의 오답도 생성하지 않았습니다. 오픈 루프 및 예측-재계획 기반 모델은 실행 중에 여전히 디코딩을 수행하기 때문에 성공률이 0%였습니다. 준비 시간 변화에 대한 실험 결과, 트리의 크기가 지연 시간을 기반으로 결정되는 규칙에서 예측하는 범위 내에서 성능 향상이 나타났으며, ablation 연구를 통해 세 가지 핵심 요구 사항 (빠른 옵저버 디코딩, 유효한 트리 계획 및 정확한 분기 라우팅)이 밝혀졌습니다. 사전 등록된 오라클 프로브는 초기 가설을 기각하고 대신 분기 라우팅이 원인 병목 현상임을 지적했습니다. 이러한 효과는 126개의 쌍대 비교 실험에서 독립적인 범용 멀티모달 모델에서도 재현되었습니다 (p=4.9×10⁻¹³). 외부 벤치마크에서는 AAPT가 반응형 기반 모델과 비슷한 전체 성능을 보였지만, 두 방법은 상호 보완적인 강점을 가지고 있습니다. 종합적으로 볼 때, 이러한 결과는 후보 동작을 사전에 열거할 수 있을 때 AAPT가 가장 효과적이며, 그렇지 않은 경우에는 반응형 실행이 더 강력하다는 것을 시사합니다.

Computer-use agents often fail on transient GUI events because they produce the correct action only after the relevant window has already closed. We identify the main cause as expensive autoregressive decoding on the decision-time critical path. We propose Adaptive Anticipatory Policy Trees (AAPT), which eliminates this delay without modifying the underlying model. During idle screen periods, the same frozen multimodal model constructs a bounded conditional policy tree with observable guards, pre-authorized actions, and branch-specific deadlines. The tree is sized to cover the model's own decoding latency. When an event occurs, a lightweight observer matches change-gated frames to a prepared branch and immediately executes the corresponding action without generating new text. In paired trials with pre-registered endpoints and exact McNemar tests, AAPT improves the success rate from 0.50 to 0.79 within a contested decision window ($p=1.8\times10^{-3}$), while producing no incorrect actions. Both open-loop and predict-and-replan baselines achieve zero success because they still decode during execution. A preparation-time sweep shows that the gain emerges where the latency-based tree-sizing rule predicts, and ablations reveal three key requirements: fast observer decoding, valid tree planning, and accurate branch routing. A pre-registered oracle probe rejects our initial hypothesis and instead points to branch routing as the causal bottleneck. We further reproduce the effect on an independent general-purpose multimodal model over 126 paired trials ($p=4.9\times10^{-13}$). On an external benchmark, AAPT matches the overall performance of a reactive baseline, although the two methods exhibit complementary strengths. Together, these results suggest that AAPT performs best when candidate actions can be enumerated in advance, whereas reactive execution remains stronger when they cannot.