CUA-Skill: 에이전트를 활용한 컴퓨터 사용 능력 개발

CUA-Skill: Develop Skills for Computer Using Agent

컴퓨터 사용 에이전트(CUA)는 실제 세계의 작업을 수행하기 위해 컴퓨터 시스템을 자율적으로 운영하는 것을 목표로 합니다. 그러나 기존 에이전트 시스템은 확장성이 낮고 인간의 성능에 미치지 못하는 경우가 많습니다. 주요 제한 사항은 그래픽 사용자 인터페이스와의 인간 상호 작용 방식을 포착하고 이러한 기술을 활용하는 재사용 가능하고 구조화된 기술 추상화의 부재입니다. 본 논문에서는 CUA-Skill을 소개합니다. CUA-Skill은 인간의 컴퓨터 사용 지식을 기술로 인코딩하고, 매개변수화된 실행 및 구성 그래프와 결합하여 대규모 에이전트 시스템 개발을 위한 실용적인 기반을 제공합니다. CUA-Skill은 널리 사용되는 Windows 애플리케이션을 포괄하는 신중하게 설계된 기술 라이브러리로, 확장 가능하고 안정적인 에이전트 개발을 위한 인프라 및 도구 역할을 합니다. 이 기술 기반을 바탕으로, 동적 기술 검색, 인자 초기화 및 메모리를 활용한 오류 복구를 지원하는 CUA-Skill Agent라는 완전한 컴퓨터 사용 에이전트를 구축했습니다. 실험 결과, CUA-Skill은 어려운 엔드투엔드 에이전트 벤치마크에서 실행 성공률과 안정성을 크게 향상시키는 것으로 나타났으며, 향후 컴퓨터 사용 에이전트 개발을 위한 강력한 기반을 마련했습니다. WindowsAgentArena에서 CUA-Skill Agent는 최첨단 57.5%의 성공률(3번 시도 중 최고)을 달성했으며, 기존 및 동시 접근 방식보다 훨씬 효율적인 것으로 나타났습니다. 프로젝트 페이지는 https://microsoft.github.io/cua_skill/ 에서 확인할 수 있습니다.

Computer-Using Agents (CUAs) aim to autonomously operate computer systems to complete real-world tasks. However, existing agentic systems remain difficult to scale and lag behind human performance. A key limitation is the absence of reusable and structured skill abstractions that capture how humans interact with graphical user interfaces and how to leverage these skills. We introduce CUA-Skill, a computer-using agentic skill base that encodes human computer-use knowledge as skills coupled with parameterized execution and composition graphs. CUA-Skill is a large-scale library of carefully engineered skills spanning common Windows applications, serving as a practical infrastructure and tool substrate for scalable, reliable agent development. Built upon this skill base, we construct CUA-Skill Agent, an end-to-end computer-using agent that supports dynamic skill retrieval, argument instantiation, and memory-aware failure recovery. Our results demonstrate that CUA-Skill substantially improves execution success rates and robustness on challenging end-to-end agent benchmarks, establishing a strong foundation for future computer-using agent development. On WindowsAgentArena, CUA-Skill Agent achieves state-of-the-art 57.5% (best of three) successful rate while being significantly more efficient than prior and concurrent approaches. The project page is available at https://microsoft.github.io/cua_skill/.