텍스트-모델 변환을 위한 코파일럿 모델링

Modeling Copilots for Text-to-Model Translation

최근 대규모 언어 모델(LLM)을 활용하여 텍스트를 모델로 변환하고 최적화하는 연구가 활발히 진행되고 있습니다. 본 논문에서는 이러한 연구를 발전시키기 위해 extsc{Text2Model}과 extsc{Text2Zinc}를 소개합니다. extsc{Text2Model}은 다양한 복잡성을 가진 여러 LLM 전략을 기반으로 한 코파일럿 도구 모음이며, 온라인 리더보드도 함께 제공됩니다. extsc{Text2Zinc}는 자연어로 기술된 최적화 및 만족 문제 해결을 위한 교차 도메인 데이터셋이며, 내장된 AI 어시스턴트를 갖춘 대화형 편집기를 제공합니다. 기존 연구에서는 LLM을 사용하여 조합 문제를 형식 모델로 변환하는 내용이 다루어졌지만, 본 연구는 extit{만족 문제와 최적화 문제를 모두} extit{통합된 아키텍처와 데이터셋} 내에서 다루는 최초의 시도입니다. 또한, 기존 연구가 특정 솔버에 맞춘 모델 변환에 집중하는 것과 달리, 본 연구는 extit{솔버에 독립적인 접근 방식}을 사용합니다. 이를 위해, 조합 문제를 형식화하기 위해 extsc{MiniZinc}의 솔버 및 패러다임에 독립적인 모델링 기능을 활용했습니다. 본 연구에서는 다양한 단일 및 다중 호출 전략을 사용하여 실행 속도와 해결 정확도를 비교하는 광범위한 실험을 수행했습니다. 여기에는 제로샷 프롬프팅, 사고 체인 추론, 지식 그래프를 통한 중간 표현, 문법 기반 구문 인코딩, 그리고 모델을 순차적인 하위 작업으로 분해하는 에이전트 기반 접근 방식 등이 포함됩니다. 본 연구에서 개발한 코파일럿 전략은 경쟁력이 있으며, 일부 영역에서는 기존 연구를 능가하는 성능을 보입니다. 연구 결과는 LLM이 유망하지만, 조합 문제 모델링을 위한 완벽한 '원클릭' 기술은 아니라는 점을 시사합니다. 본 연구에서는 extsc{Text2Model} 코파일럿 및 리더보드, 그리고 extsc{Text2Zinc}와 대화형 편집기를 오픈 소스로 공개하여 성능 격차를 해소하는 데 기여하고자 합니다.

There is growing interest in leveraging large language models (LLMs) for text-to-model translation and optimization tasks. This paper aims to advance this line of research by introducing \textsc{Text2Model} and \textsc{Text2Zinc}. \textsc{Text2Model} is a suite of copilots based on several LLM strategies with varying complexity, along with an online leaderboard. \textsc{Text2Zinc} is a cross-domain dataset for capturing optimization and satisfaction problems specified in natural language, along with an interactive editor with built-in AI assistant. While there is an emerging literature on using LLMs for translating combinatorial problems into formal models, our work is the first attempt to integrate \textit{both} satisfaction and optimization problems within a \textit{unified architecture} and \textit{dataset}. Moreover, our approach is \textit{solver-agnostic} unlike existing work that focuses on translation to a solver-specific model. To achieve this, we leverage \textsc{MiniZinc}'s solver-and-paradigm-agnostic modeling capabilities to formulate combinatorial problems. We conduct comprehensive experiments to compare execution and solution accuracy across several single- and multi-call strategies, including; zero-shot prompting, chain-of-thought reasoning, intermediate representations via knowledge-graphs, grammar-based syntax encoding, and agentic approaches that decompose the model into sequential sub-tasks. Our copilot strategies are competitive, and in parts improve, recent research in this domain. Our findings indicate that while LLMs are promising they are not yet a push-button technology for combinatorial modeling. We contribute \textsc{Text2Model} copilots and leaderboard, and \textsc{Text2Zinc} and interactive editor to open-source to support closing this performance gap.