EvoOptiGraph: 그래프 기반 구조 생성 및 약점 기반 공진 진화를 통한 최적화 모델링

EvoOptiGraph: Weakness-Driven Coevolution via Graph-Based Structural Generation for Optimization Modeling

대규모 언어 모델(LLM)을 활용하여 자연어로부터 최적화 모델링을 자동화하는 데는 두 가지 주요 과제가 존재합니다. 첫째, 학습 데이터의 구조적 다양성이 부족합니다. 둘째, 데이터 생성 파이프라인은 정적이며 모델 학습과 분리되어 있습니다. 이러한 문제점을 해결하기 위해, 본 연구에서는 모델의 약점에 의해 주도되는 데이터와 모델의 공진 진화를 가능하게 하는 새로운 프레임워크인 EvoOptiGraph를 제안합니다. EvoOptiGraph는 각 혼합 정수 선형 계획법(MILP) 문제를 속성 그래프로 표현하고, 구조적으로 다양한 인스턴스를 생성하기 위해 유효성을 유지하는 진화 연산자를 적용합니다. 진화된 그래프는 결정적 컴파일을 통해 솔버 코드와 자연어로 변환되며, 역번역을 통해 검증됩니다. 학습은 초기 데이터셋에 대한 지도 미세 조정(SFT)으로 시작하여, 그래프에서 파생된 약점 신호가 모델의 실패 지점을 타겟팅하는 새로운 인스턴스를 생성하도록 안내하는 강화 학습 with verifiable rewards (RLVR) 단계로 진행됩니다. 이를 통해 지속적으로 학습 분포를 업데이트하는 폐쇄 루프 시스템을 구축합니다. 6개의 공개 데이터셋에 대한 실험 결과, EvoOptiGraph는 정확도, 실행 가능성 및 일반화 측면에서 더 큰 범용 모델, 에이전트 기반 방법 및 특수 목적 기준보다 훨씬 뛰어난 성능을 보였습니다. 이러한 결과는 타겟 데이터-모델 공진 진화가 최적화 모델링 작업에서 LLM의 성능을 향상시키는 효과적인 전략임을 보여줍니다.

Automating optimization modeling from natural language with large language models (LLMs) faces two key challenges. First, training corpora lack structural diversity. Second, data generation pipelines remain static and decoupled from model learning. To address these challenges, we propose EvoOptiGraph, a novel framework where data and model co-evolve, driven by model weaknesses. EvoOptiGraph represents each mixed-integer linear program (MILP) as an attributed bipartite graph and applies validity-preserving evolutionary operators to generate structurally diverse instances. The evolved graphs are converted into solver code and natural language via deterministic compilation and verified back-translation. Training proceeds in two stages: supervised fine-tuning (SFT) on an initial dataset, followed by reinforcement learning with verifiable rewards (RLVR), where graph-derived weakness signals guide the generation of new instances targeting the model's failures. This forms a closed loop that continuously updates the training distribution. Empirical results on six public datasets show that EvoOptiGraph significantly outperforms larger generalist models, agentic methods, and specialized baselines in accuracy, executability, and generalization. These results demonstrate that targeted data-model coevolution is an effective strategy for improving LLMs on optimization modeling tasks.