IterCAD: 시각 정보를 기반으로 한 CAD 생성 및 편집을 위한 반복적 다중 모드 에이전트

IterCAD: An Iterative Multimodal Agent for Visually-Grounded CAD Generation and Editing

컴퓨터 지원 설계(CAD)는 현대 제조에서 매우 중요한 역할을 하지만, 기존의 자동화 방법은 주로 개방형 루프, 일회성 생성을 의존하여 실제 반복적인 작업 방식과 불일치를 나타냅니다. 본 논문에서는 폐쇄 루프, 상호 작용 기반 CAD 생성 및 편집을 위한 통합 다중 모드 에이전트 프레임워크인 IterCAD를 소개합니다. 우리는 이 작업을 다중 턴 상호 작용으로 정의하며, 여기에는 다중 모드 에이전트와 실행 가능한 CAD 환경 간의 상호 작용이 포함됩니다. 세 가지 주요 작업은 다음과 같습니다: 그림-코드 변환, 텍스트-코드 변환, 그리고 대화형 편집입니다. 이를 지원하기 위해, 우리는 표준 규격에 부합하는 다중 시점 기술 도면, 복잡한 코드 편집 작업, 그리고 고정밀 상호 작용 경로를 생성하기 위한 데이터 합성 파이프라인을 개발했습니다. 우리는 점진적인 지도 미세 조정(SFT)을 통해 에이전트를 최적화하고, 실행 가능한 코드와 기하학적 정확도를 향상시키기 위해 유효한 접두사 마스킹과 함께 기하학 정보를 고려한 강화 학습을 적용했습니다. 마지막으로, IterCAD-Bench 평가 스위트를 소개하고, Chamfer Distance Tolerance-Recall (CD-TR) 곡선 및 AUC-TR 지표를 제안하여 코드의 유효성과 기하학적 정확성을 통합적으로 평가하는 편향 없는 표준을 확립합니다. 광범위한 실험 결과는 IterCAD가 여러 벤치마크에서 매우 경쟁력 있는 성능을 달성하며, 기존 방법보다 코드 실행 가능성과 기하학적 정밀도 측면에서 상당한 우위를 보이며, 폐쇄 루프 반복 개선 능력 또한 뛰어남을 보여줍니다.

Computer-Aided Design is pivotal in modern manufacturing, yet existing automated methods predominantly rely on open-loop, one-shot generation, creating a mismatch with iterative real-world practices. In this paper, we present IterCAD, a unified multimodal agent framework for closed-loop, interactive CAD generation and editing. We formulate the task as a multi-turn interaction between a multimodal agent and an executable CAD sandbox, covering three tasks: Drawing-to-Code, Text-to-Code, and Interactive Editing. To support this, we develop a data synthesis pipeline incorporating advanced industrial manufacturing features to generate standard-compliant multi-view engineering drawings, complex code-editing tasks, and high-fidelity interaction trajectories. We optimize the agent via progressive SFT followed by geometry-aware reinforcement learning with viable-prefix masking to enhance code executability and geometric fidelity. Finally, we introduce the IterCAD-Bench evaluation suite and propose the Chamfer Distance Tolerance-Recall (CD-TR) curve alongside its AUC-TR metric, establishing a survivor-bias-free standard that unifies code validity and geometric precision. Extensive experiments demonstrate that IterCAD achieves highly competitive performance across multiple benchmarks, significantly outperforming existing approaches in both code executability and geometric precision, while exhibiting superior capabilities in closed-loop iterative refinement.