Opt-Verifier: 양방향 검증을 통한 최적화 모델링에서 LLM의 잠재력 극대화

Opt-Verifier: Unleashing the Power of LLMs for Optimization Modeling via Dual-Side Verification

운영 연구(OR)에서 수학적 최적화 모델 구축은 매우 중요하지만, 상당한 수준의 전문 지식을 요구합니다. 최근에는 대규모 언어 모델(LLM)을 활용하여 이러한 모델링 과정을 자동화하려는 시도가 이루어졌습니다. 그러나 기존 연구들은 생성된 최적화 모델의 정확성을 검증하는 데 어려움을 겪으며, 특히 제약 조건 및 변수의 합리성 또는 생성된 모델에 대한 해의 유효성을 확인하지 못합니다. 이는 후속적인 검증 및 수정 단계를 방해하여 전체 모델링 정확도를 심각하게 저하시킵니다. 이러한 문제를 해결하기 위해, 우리는 구조적 측면과 해(solution) 측면 모두에서 양방향 검증을 수행하는 새로운 LLM 기반 프레임워크인 Opt-Verifier를 제안합니다. 구조적 검증은 생성된 최적화 모델의 구조가 원래 문제 설명을 정확하게 반영하여 문제의 제약 조건 및 요구 사항을 제대로 포착하도록 보장합니다. 반면, 해 측면 검증은 해의 유효성을 해석하고 평가하여 최적화 모델이 논리적이고 수학적으로 타당한지 확인합니다. 널리 사용되는 벤치마크를 활용한 실험 결과, 저희 방법은 정확도를 20% 이상 향상시키는 것으로 나타났습니다.

Building mathematical optimization models is critical in operations research (OR), while it requires substantial human expertise. Recent advancements have utilized large language models (LLMs) to automate this modeling process. However, existing works often struggle to verify the correctness of the generated optimization models, without checking the rationality of the constraints and variables or the validity of solutions to the generated models. This hampers the subsequent verification and correction steps, and thus it severely hurts the modeling accuracy. To address this challenge, we propose a novel LLM-based framework with Dual-side Verification (Opt-Verifier) from both structure and solution perspectives, thereby improving the modeling accuracy. The structure-side verification ensures that the modeling structure of the generated optimization models aligns with the original problem description, accurately capturing the problem's constraints and requirements. Meanwhile, the solution-side verification interprets and evaluates the solutions' validity, confirming that the optimization models are logically and mathematically sound. Experiments on popular benchmarks demonstrate that our approach achieves over 20\% improvement in accuracy.