최적화 모델링을 위한 실행 검증 강화 학습

Execution-Verified Reinforcement Learning for Optimization Modeling

LLM을 활용한 최적화 모델링 자동화는 확장 가능한 의사 결정 지능을 위한 유망한 방법이지만, 기존 접근 방식은 대부분 폐쇄 소스 LLM 기반의 높은 추론 지연을 가진 에이전트 파이프라인에 의존하거나, 비용이 많이 드는 프로세스 감독을 통해 더 작은 LLM을 미세 조정하지만, 이 과정에서 특정 솔버 API에 과적합되는 경향이 있습니다. 강화 학습의 검증 가능한 보상 개념에서 영감을 받아, 본 논문에서는 실행 검증 최적화 모델링(EVOM)이라는 실행 검증 학습 프레임워크를 제안합니다. EVOM은 수학적 프로그래밍 솔버를 결정적이고 상호 작용적인 검증기로 간주합니다. 주어진 자연어 문제와 대상 솔버에 대해 EVOM은 솔버별 코드를 생성하고, 샌드박스 환경에서 실행하며, 실행 결과를 스칼라 보상으로 변환합니다. GRPO 및 DAPO를 사용하여 폐쇄 루프 생성-실행-피드백-업데이트 과정을 통해 최적화합니다. 이러한 결과 중심의 접근 방식은 프로세스 수준의 감독이 필요 없도록 하며, 솔버별 데이터 세트를 재구성하는 대신 검증 환경을 변경함으로써 다양한 솔버에 대한 일반화가 가능합니다. Gurobi, OR-Tools, COPT를 사용한 NL4OPT, MAMO, IndustryOR, OptiBench 데이터 세트에 대한 실험 결과, EVOM은 프로세스 감독을 사용하는 기존 방식과 동등하거나 더 나은 성능을 보이며, 사전 학습된 모델을 그대로 사용하여 다른 솔버로의 전이(zero-shot solver transfer)가 가능하고, 대상 솔버 환경에서 추가 학습을 통해 저렴한 비용으로 솔버에 대한 효과적인 적응이 가능함을 보여줍니다.

Automating optimization modeling with LLMs is a promising path toward scalable decision intelligence, but existing approaches either rely on agentic pipelines built on closed-source LLMs with high inference latency, or fine-tune smaller LLMs using costly process supervision that often overfits to a single solver API. Inspired by reinforcement learning with verifiable rewards, we propose Execution-Verified Optimization Modeling (EVOM), an execution-verified learning framework that treats a mathematical programming solver as a deterministic, interactive verifier. Given a natural-language problem and a target solver, EVOM generates solver-specific code, executes it in a sandboxed harness, and converts execution outcomes into scalar rewards, optimized with GRPO and DAPO in a closed-loop generate-execute-feedback-update process. This outcome-only formulation removes the need for process-level supervision, and enables cross-solver generalization by switching the verification environment rather than reconstructing solver-specific datasets. Experiments on NL4OPT, MAMO, IndustryOR, and OptiBench across Gurobi, OR-Tools, and COPT show that EVOM matches or outperforms process-supervised SFT, supports zero-shot solver transfer, and achieves effective low-cost solver adaptation by continuing training under the target solver backend.