실패로부터 배우기: 추론 단계에서의 자기 개선을 통한 컴퓨터 사용 에이전트 개발

Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents

멀티모달 대규모 언어 모델(MLLM)을 활용하여 컴퓨터를 작동하고 작업을 수행하는 컴퓨터 사용 에이전트는 유용성과 다양성으로 인해 많은 관심을 받고 있습니다. 이러한 에이전트를 개발하는 데 있어 주요 과제는 대규모의 고품질 학습 데이터를 수집하는 것입니다. 일반적인 접근 방식은 자기 개선 루프를 통해 합성 데이터를 생성합니다. 즉, 에이전트가 검증 가능한 환경에 배치되어 성공적인 실행 경로에 대해 반복적으로 미세 조정됩니다. 이 방법은 효과적이지만, 모델의 약점을 나타내는 풍부한 정보를 담고 있는 실패 사례를 무시하고 성공적인 실행 경로만 활용한다는 단점이 있습니다. 본 연구에서는 이러한 단점을 보완하기 위해 실패 기반 자기 개선 루프라는 데이터 중심적 패러다임을 제안합니다. 구체적으로, LLM을 사용하여 실패 원인을 진단하고, 추론 단계에서 해결책을 제시하며, 인간이 가볍게 검증하는 코드 수정 사항을 생성하여 에이전트를 업그레이드합니다. 우리는 최첨단 OpenCUA-72B 모델을 OSWorld 벤치마크에 적용하여 이 접근 방식을 검증했습니다. 그 결과 성공률이 42.3%에서 48.9%로 향상되었으며, 이는 6.6% 포인트의 증가입니다. 또한 추가적인 학습 비용 없이 약간의 추론 오버헤드만 발생했습니다. 이러한 결과는 실패 기반 자기 개선이 성공 기반 파이프라인을 보완하여 에이전트 개선 효율성을 높일 수 있음을 보여줍니다.

Computer-use agents, which leverage multimodal large language models (MLLMs) to operate computers and complete tasks, have attracted significant attention for their utility and versatility. A major challenge in developing these agents is collecting large-scale, high-quality trajectories. The standard approach generates synthetic data through a self-improving loop: an agent is placed in a verifiable environment and iteratively fine-tuned on its successful trajectories. Despite its effectiveness, this paradigm exploits only successful trajectories and discards the failed ones, even though failures carry rich information about a model's weaknesses. In this work, we explore a complementary failure-driven self-improvement loop, a data-centric paradigm that turns failed trajectories into agent improvements. Specifically, we employ an LLM to diagnose failure modes, propose inference-time solutions, and generate code patches -- lightly verified by humans -- that upgrade the agent. We validate this approach with the state-of-the-art OpenCUA-72B model on the OSWorld benchmark, improving the success rate from 42.3% to 48.9%, a gain of 6.6 percentage points, without any additional training cost and with only modest inference overhead. Our results demonstrate that failure-driven self-improvement is a viable complement to success-based pipelines, enabling more efficient agent improvement.