스크린샷인가, 도구인가? 하이브리드 GUI-MCP 컴퓨터 사용 에이전트에서 도구 활용을 유도하고 다중 모드 컨텍스트를 관리하기

Screenshots or Tools? Eliciting Tool Use and Managing Multimodal Context in Hybrid GUI-MCP Computer-Use Agents

하이브리드 컴퓨터 사용 에이전트는 스크린샷 또는 텍스트 기반 도구를 사용하여 작업을 수행할 수 있습니다. 연구 결과, 특정 도구가 제공된다고 해서 어떤 방식으로 효과가 나타나는지 결정되지 않습니다. OSWorld-MCP 벤치마크에서 동일한 GUI-MCP 환경(309개 작업) 하에서, 동일한 MCP 도구는 추론 모델의 성능을 +4.0% 향상시키는 반면, 비추론 모델의 성능을 -5.9% 저하시킵니다 (각 실험 5회 반복, 모두 표준 오차 2를 초과). 두 모델의 차이는 도구 선택 행동에서 비롯됩니다. 비추론 정책은 도구를 무시하거나 잘못 인식하며, 또는 예상치 못한 방식으로 종료합니다. 반면, 추론 모델은 이러한 오류를 피하지만, 여전히 전체 작업 중 55개(309개 중)의 작업, 즉 도구를 사용할 수 있는 작업의 23.9%에 대해서만 도구를 사용합니다. 이를 '도구 활용 격차'라고 부릅니다. 문제의 두 가지 측면 모두 동일한 원인에서 비롯됩니다: 모델은 이미 더 효율적인 방법을 가지고 있으며, 해당 방법을 사용할 수 있도록 학습되지 않았습니다. 다중 단계 강화 학습 실험을 통해 이 원인을 확인할 수 있습니다. 액션 수준에서, 도구 사용에 대한 보상을 늘리면 스프레드시트 활용도가 0.03에서 0.33으로 증가하지만, 이는 탐욕적 디코딩(greedy decoding)에 영향을 미치지만, 일반적인 정확도에는 반영되지 않습니다. 모델의 행동은 조절 가능하지만, 성능 향상은 제한적입니다. 병목 현상은 도구 호출 방식에 있습니다. 컨텍스트 수준에서, 성공적인 도구 호출은 종종 다음 스크린샷을 불필요하게 만듭니다. 스크린샷을 제거하고 이미지 기록을 절반으로 줄이면 입력 토큰 수가 약 3분의 1로 감소하지만, 정확도 손실이 발생합니다. 동일한 관찰 규칙 하에서 재학습하면 이러한 손실을 상쇄할 수 있습니다. 압축된 에이전트는 33.0%를 기록한 일반적인 에이전트보다 37.8%의 성능을 보이며, 입력 비용은 53% 수준입니다. 또한, 미리 정의된 성능 저하 버전의 데이터 세트에 대해 '고급-간단' 격차를 완전히 해소합니다. 도구는 모델이 적절하게 선택하고 통합할 때 도움이 되지만, 현재 하이브리드 에이전트는 이러한 가능성을 충분히 활용하지 못하고 있습니다.

Hybrid computer-use agents can act through screenshots or call text tools. We find that having a tool available does not settle which way the effect goes. Under one identical GUI-MCP harness on the OSWorld-MCP benchmark (309 tasks), the same MCP tools improve a reasoning model by +4.0pp and degrade a non-reasoning model by -5.9pp (5 runs each, both beyond 2 SE). What separates the two is tool-decision behavior. The non-reasoning policy ignores, misnames, or falsely terminates around tools. The reasoning model avoids these failures, yet still calls a tool on only 55/309 tasks, 23.9% of the tool-reachable ones. We call this shortfall the adoption gap. Both levels of the problem share one cause: the model already has a cheaper route and is never trained to take it. Multi-turn RL probes that cause. At the action level, a dense tool bonus raises spreadsheet adoption 0.03 -> 0.33 and carries into greedy decoding, but held-out accuracy does not follow. Behavior is steerable; competence is not. The bottleneck lies in tool-call semantics. At the context level, a successful tool call often makes the next screenshot redundant. Dropping it and halving image history cuts input tokens by about a third, at a small accuracy cost. Retraining under the same observation rule removes that cost. The compressed agent then reaches 37.8% against 33.0% for the uncompressed operating point, at 53% of the input cost, and closes the rich-lean gap on a pre-registered degraded subset to zero. Tools help when the model chooses and integrates them, and current hybrid agents leave many such choices unused. Code and checkpoints: https://github.com/redai-infra/hybrid-routing-agent