약점을 활용하여 배우기: 소규모 컴퓨터 사용 에이전트를 위한 자동 도메인 특화

Learn from Weaknesses: Automated Domain Specialization for Small Computer-Use Agents

최근 컴퓨터 사용 에이전트(CUA) 기술은 상당한 발전을 이루었지만, 각 소프트웨어 도메인마다 별도의 대규모 전문가 시스템을 구축하는 것은 여전히 비용이 많이 듭니다. 소규모 CUA는 실용적인 특화 대상이지만, 여전히 성능이 미흡하고 다양한 도메인에서 오류를 발생시킵니다. 간단한 해결책은 대상 도메인을 위한 대규모 학습 데이터를 생성하는 것인데, 그러나 이러한 단순한 접근 방식으로는 미미한 개선 효과만 얻을 수 있다는 것을 발견했습니다. 이러한 관찰을 바탕으로, 우리는 학생 에이전트의 약점을 파악하고, 맞춤형 작업을 생성하며, 자동으로 감독 신호를 구성하는, 주석이 필요 없는 소규모 CUA 특화 프레임워크인 LearnWeak을 소개합니다. LearnWeak은 또한 계획 및 실행 오류를 분리하여 보다 정확한 행동 기반 업데이트를 가능하게 하는 오류 인식 특화 목표를 도입합니다. OSWorld에서 LearnWeak은 8개의 도메인에 걸쳐 EvoCUA-8B와 OpenCUA-7B 모델보다 평균적으로 각각 11.6% 및 11.1%의 성능 향상을 달성했습니다. 또한, 우리의 학생 에이전트 인지 데이터 생성 및 학습 방식이 기존의 자율 경로 생성 및 학습 기준을 능가한다는 것을 검증했습니다. 본 연구는 다양한 도메인에서 소규모 CUA를 특화하는 데 있어 데이터 합성 및 에이전트 훈련 모두에서 학생 에이전트에 대한 고려 사항의 중요성을 강조하며, 보다 체계적이고 효율적인 방법을 제시합니다.

Computer-use agents (CUAs) have recently made substantial progress, but deploying a separate large expert for each software domain remains expensive. Small open computer-use agents are more practical specialization targets, but they remain substantially weaker and exhibit uneven domain-specific failures. A straightforward remedy is to synthesize large-scale training data for the target domain, yet we find that this naive approach yields only marginal improvements. Building on this observation, we introduce LearnWeak, an annotation-free specialization framework for small computer-use agents that uses a stronger reference agent to identify the student's weaknesses in the target domain, synthesize targeted tasks, and construct supervision automatically. LearnWeak further introduces an error-aware specialization objective that disentangles planning and execution errors, enabling more behaviorally precise updates than broad uniform supervision. On OSWorld, LearnWeak achieves average gains of 11.6 and 11.1 percentage points over EvoCUA-8B and OpenCUA-7B, respectively, across eight domains. We also validate that our student-aware dataset generation and training approaches outperform existing autonomous trajectory generation and training baselines. Our work highlights the importance of student awareness in both data synthesis and agent training, pointing toward a more principled and efficient path for specializing small computer-use agents in diverse domains.