OptSkills: 문제 유형별 클러스터링 기반 지식 증류를 통한 일반화 가능한 최적화 기술 학습

OptSkills: Learning Generalizable Optimization Skills from Problem Archetypes via Cluster-Based Distillation

최근 대규모 언어 모델(LLM)을 활용하여 자연어 설명을 바탕으로 최적화 문제를 자동으로 구성하고 해결하는 방법이 자동 최적화의 효율적인 패러다임으로 부상했습니다. 그러나 기존 방법은 여전히 일반화 능력에 한계가 있으며, 표면적인 내용 변화에 민감하게 반응하고, 주로 개별 사례 수준에서 경험을 재사용하며, 문제 유형이 변경되거나 새로운 문제가 등장하면 적응하기 어렵습니다. 본 논문에서는 최적화 모델링 및 해결을 위한 유형 중심의 기술 학습 및 추론 에이전트 시스템인 OptSkills를 제안합니다. 강력한 일반화 능력을 향상시키기 위해, 저희 시스템은 문제의 표면적인 내용이 아닌 근본적인 유형에 따라 문제를 클러스터링합니다. 또한, 각 클러스터 내에서 다양한 모델링 패러다임과 솔버 구성을 탐색하고, 성공적인 실행 경로를 재사용 가능한 워크플로우 수준의 기술로 증류하여 동일 분포 내 일반화 능력을 향상시킵니다. 더 나아가, 새로운 실행 경로를 활용하여 기존 기술을 개선하거나 기술 라이브러리를 확장함으로써 외부 분포에서의 일반화 능력을 높입니다. 저희 시스템은 다양한 문제 유형과 시나리오를 포괄하는 데이터 세트에서 68.27%의 최고 수준의 평균 정확도를 달성했습니다. 또한, 매우 어렵고 대규모이며 고차원의 벤치마크인 MIPLIB-NL에서는 26.91%의 정확도를 기록하여 DeepSeek-V3.2-Thinking보다 4.53% 더 높은 성능을 보였습니다. Nano-CO에서 기술 학습을 수행한 후, OOD NLCO 벤치마크에서 72.79%의 성능을 달성했습니다. 코드 및 기술은 https://github.com/fujiwaranoM0kou/OptSkills 에서 확인할 수 있습니다.

Leveraging Large Language Models (LLMs) to automatically formulate and solve optimization problems from natural language has emerged as an efficient paradigm for automated optimization. However, existing methods still exhibit limited generalization: they are sensitive to superficial narrative variations, reuse experience mainly at the case level, and struggle to adapt to shifted or emerging problem types. We propose OptSkills, an archetype-centric skill learning and reasoning agent system for optimization modeling and solving. To improve robust generalization, our system clusters problems by their underlying archetypes rather than surface narratives. To improve in-distribution generalization, it explores diverse modeling paradigms and solver configurations within each cluster, then distills successful trajectories into reusable workflow-level skills. To improve out-of-distribution generalization, it refines existing skills or expands the skill library using newly obtained trajectories. Our system achieves a state-of-the-art micro-averaged accuracy of 68.27% on datasets encompassing diverse problem types and scenarios. In addition, on MIPLIB-NL, a highly challenging large-scale and high-dimensional benchmark, it achieves 26.91% accuracy, outperforming DeepSeek-V3.2-Thinking by 4.53%. After skill learning on Nano-CO, it reaches 72.79% on the OOD NLCO benchmark. Code and skills are available at https://github.com/fujiwaranoM0kou/OptSkills.