InCoder-32B-Thinking: 사고를 위한 산업용 코드 세계 모델

InCoder-32B-Thinking: Industrial Code World Model for Thinking

칩 설계, GPU 최적화 및 임베디드 시스템 등 산업용 소프트웨어 개발은 엔지니어가 하드웨어 제약 조건과 타이밍 의미에 대해 어떻게 추론하는지에 대한 전문가의 추론 과정을 보여주는 데이터가 부족합니다. 본 연구에서는 오류 기반 추론(Error-driven Chain-of-Thought, ECoT) 합성 프레임워크와 산업용 코드 세계 모델(Industrial Code World Model, ICWM)을 사용하여 추론 과정을 생성하는 InCoder-32B-Thinking을 제안합니다. 특히, ECoT는 환경 오류 피드백을 통해 다중 턴 대화에서 추론 내용을 합성하여 추론 과정을 생성하며, 오류 수정 과정을 명시적으로 모델링합니다. ICWM은 Verilog 시뮬레이션, GPU 프로파일링 등에서 얻은 도메인 특정 실행 추론 데이터를 기반으로 학습하여 코드의 동작이 하드웨어 동작에 미치는 인과적 관계를 학습하고, 실제 컴파일 전에 실행 결과를 예측하여 자체 검증을 가능하게 합니다. 생성된 모든 추론 과정은 도메인 툴 체인을 통해 검증되며, 산업 분야 작업의 자연스러운 추론 깊이 분포와 일치하는 학습 데이터를 생성합니다. 14개의 일반 벤치마크(LiveCodeBench v5에서 81.3% 성능)와 9개의 산업용 벤치마크(CAD-Coder에서 84.0%, KernelBench에서 38.0% 성능)에 대한 평가 결과, InCoder-32B-Thinking은 모든 분야에서 최고 수준의 오픈 소스 결과를 달성했습니다. GPU 최적화

Industrial software development across chip design, GPU optimization, and embedded systems lacks expert reasoning traces showing how engineers reason about hardware constraints and timing semantics. In this work, we propose InCoder-32B-Thinking, trained on the data from the Error-driven Chain-of-Thought (ECoT) synthesis framework with an industrial code world model (ICWM) to generate reasoning traces. Specifically, ECoT generates reasoning chains by synthesizing the thinking content from multi-turn dialogue with environmental error feedback, explicitly modeling the error-correction process. ICWM is trained on domain-specific execution traces from Verilog simulation, GPU profiling, etc., learns the causal dynamics of how code affects hardware behavior, and enables self-verification by predicting execution outcomes before actual compilation. All synthesized reasoning traces are validated through domain toolchains, creating training data matching the natural reasoning depth distribution of industrial tasks. Evaluation on 14 general (81.3% on LiveCodeBench v5) and 9 industrial benchmarks (84.0% in CAD-Coder and 38.0% on KernelBench) shows InCoder-32B-Thinking achieves top-tier open-source results across all domains.GPU Optimization