ComAct: COM-as-Action 패러다임을 통한 전문 소프트웨어 조작의 새로운 관점

ComAct: Reframing Professional Software Manipulation via COM-as-Action Paradigm

기존의 컴퓨터 사용 에이전트는 전문 소프트웨어 조작에 근본적인 한계를 가지고 있습니다. GUI 기반 에이전트는 불안정한 시각적 인식과 장기간 누적되는 오류로 인해 어려움을 겪고, API 기반 접근 방식은 이질적인 프로토콜 및 접근 제한적인 상업용 인터페이스로 인해 제약을 받습니다. 본 연구에서는 Component Object Model (COM)을 통일된 실행 가능한 추상화로 간주하고, 전문 소프트웨어와의 상호 작용을 순차적인 시각적 제어가 아닌 결정론적인 프로그램 합성으로 재정의하는 새로운 패러다임인 COM-as-Action을 제안합니다. 이 패러다임을 가장 까다로운 환경에서 검증하기 위해 실제 산업용 CAD 소프트웨어에서 작동하는 에이전트를 위한 최초의 벤치마크인 ComCADBench를 소개합니다. 우리의 실험 결과, 기존의 최첨단 모델은 GUI 기반 상호 작용에서 거의 성공하지 못하는 반면, COM 기반 실행은 상당한 즉각적인 성능 향상을 보여주는 중요한 패러다임 격차가 존재함을 나타냅니다. 구문 정확성과 기하학적 정확성 간의 나머지 격차를 해소하기 위해, 우리는 점진적인 세 단계 프레임워크를 통해 훈련된 자체 수정 에이전트인 ComActor와 Windows 컨테이너에서 대규모 학습을 위한 확장 가능한 플랫폼인 ComForge를 개발했습니다. 광범위한 실험 결과, ComActor는 ComCADBench에서 최첨단 성능을 달성했으며, 기존 방식이 실패하는 장기 작업에서도 강한 안정성을 보이며, 외부 CAD 벤치마크에도 일반화됩니다.

Existing computer-use agents remain fundamentally limited in professional software manipulation: GUI-based agents suffer from fragile visual grounding and long-horizon error accumulation, while API-basedapproaches struggle with heterogeneous protocols and inaccessible commercial interfaces. In this work,we identify the Component Object Model (COM) as a unified executable abstraction, proposing COM-as-Action: a new paradigm that reframes professional software interaction as deterministic program synthesisrather than sequential visual control. To validate this paradigm in the most demanding environments, weintroduce ComCADBench, the first benchmark for agents operating real industrial CAD software. Ourexperiments reveal a substantial paradigm gap: frontier proprietary models achieve near-zero successunder GUI-based interaction, whereas COM-based execution yields substantial immediate gains. Tobridge the remaining gap between syntactic correctness and geometric accuracy, we develop ComActor, aself-correcting agent trained through a progressive three-stage framework, alongside ComForge, a scalableplatform for large-scale training in Windows containers. Extensive experiments show that ComActorachieves state-of-the-art performance on ComCADBench, with strong resilience in long-horizon taskswhere baselines collapse, and generalizes to external CAD benchmark.