TOOLCAD: 강화 학습을 활용한 텍스트-CAD 생성에서 도구 사용형 대규모 언어 모델 탐구

TOOLCAD: Exploring Tool-Using Large Language Models in Text-to-CAD Generation with Reinforcement Learning

컴퓨터 지원 설계(CAD)는 장기적인 추론 능력과 일관성 있는 모델링 작업을 요구하는 고급 기술입니다. 대규모 언어 모델(LLM)은 실제 세계의 문제를 해결하는 언어 에이전트를 가능하게 한다는 놀라운 발전을 보여주었습니다. 그러나 도구 사용형 LLM이 CAD 엔진과 어떻게 최적으로 상호 작용하는지에 대한 연구는 부족하여 LLM 기반 에이전트 텍스트-CAD 모델링 시스템의 발전이 제한되고 있습니다. 본 연구에서는 LLM을 도구 사용형 에이전트로 활용하여 텍스트-CAD 생성을 위한 새로운 에이전트 기반 CAD 프레임워크인 ToolCAD를 제안합니다. 또한, 추론 및 CAD 엔진과의 도구 강화 상호 작용 경로를 실행하기 위한 대화형 CAD 모델링 환경을 구축하고, 하이브리드 피드백 및 인간 감독을 통합했습니다. 더불어, LLM 에이전트가 개선된 CAD 모델링 사고 과정(CAD-CoT)을 유도하고 온라인 커리큘럼 강화 학습을 통해 숙련된 CAD 도구 사용형 에이전트로 발전할 수 있도록 하는 엔드 투 엔드 사후 훈련 전략을 제시합니다. 우리의 연구 결과는 ToolCAD가 오픈 소스 LLM을 CAD 도구 사용형 에이전트에 적용하고 훈련하는 데 필요한 기반을 제공하며, 이는 독점 모델과 유사한 성능을 제공하여 보다 접근 가능하고 강력한 자율 텍스트-CAD 모델링 시스템 개발의 길을 열어줍니다.

Computer-Aided Design (CAD) is an expert-level task that relies on long-horizon reasoning and coherent modeling actions. Large Language Models (LLMs) have shown remarkable advancements in enabling language agents to tackle real-world tasks. Notably, there has been no investigation into how tool-using LLMs optimally interact with CAD engines, hindering the emergence of LLM-based agentic text-to-CAD modeling systems. We propose ToolCAD, a novel agentic CAD framework deploying LLMs as tool-using agents for text-to-CAD generation. Furthermore, we introduce an interactive CAD modeling gym to rollout reasoning and tool-augmented interaction trajectories with the CAD engine, incorporating hybrid feedback and human supervision. Meanwhile, an end-to-end post-training strategy is presented to enable the LLM agent to elicit refined CAD Modeling Chain of Thought (CAD-CoT) and evolve into proficient CAD tool-using agents via online curriculum reinforcement learning. Our findings demonstrate ToolCAD fills the gap in adopting and training open-source LLMs for CAD tool-using agents, enabling them to perform comparably to proprietary models, paving the way for more accessible and robust autonomous text-to-CAD modeling systems.