대규모 언어 모델을 활용한 강력한 최적화 모델 포트폴리오 생성

Generating Robust Portfolios of Optimization Models using Large Language Models

수학적 최적화는 자원 할당 및 계획 등 다양한 분야에서 체계적인 의사 결정을 위한 강력한 도구입니다. 그러나 현실을 정확하게 반영하는 최적화 모델을 구축하는 것은 여전히 중요한 과제이며, 이는 종종 부족한 전문 지식과 최적화 기술을 필요로 합니다. 최근 대규모 언어 모델(LLM)의 발전은 이러한 격차를 해소할 가능성을 제시하며, 자연어 설명을 기반으로 후보 최적화 모델을 생성할 수 있도록 합니다. 그러나 단일 LLM이 생성하는 모델이 신뢰할 만하다는 보장은 없으며, 하나의 모델만 출력하는 기존 방식은 위험할 수 있습니다. 본 연구에서는 LLM의 한계를 극복하기 위한 강력한 최적화 모델 포트폴리오를 생성하는 새로운 알고리즘을 제안합니다. 우리의 방법은 단일 LLM이 두 가지 다른 역할을 수행할 수 있다는 점, 즉 확률적 생성기와 추론 평가기로 작동할 수 있다는 점에 착안하여, 이 두 가지 기능을 상호 보완적으로 활용하는 통합 프레임워크를 제시합니다. 우리는 이론적인 분석을 통해, 생성기 또는 평가기가 인간의 선호도와 일치한다면 포트폴리오에는 고품질 후보가 포함될 것이며, 이를 통해 의사 결정자가 하나의 모델을 선택하기 전에 여러 후보를 검토할 수 있는 체계적인 인간-중심 프로세스를 구축할 수 있음을 보장합니다. 또한, 우리는 다양한 최적화 모델링 작업에서 뛰어난 성능을 보여주면서 제안하는 접근 방식을 경험적으로 검증했습니다.

Mathematical optimization is a powerful tool for structured decision-making across domains such as resource allocation and planning. Formulating optimization models faithful to reality, though, remains a significant bottleneck as it typically demands both domain expertise and optimization knowledge that are often scarce. Recent advances in large language models (LLMs) promise to bridge this gap, enabling the generation of candidate optimization models from natural language descriptions. However, there is no guarantee that any single LLM-generated model is reliable, and existing approaches that output only one model are therefore risky. In this work, we propose a novel algorithm that generates a portfolio of optimization models, designed to be robust to the limitations of LLMs. Our method exploits the observation that a single LLM can play two distinct roles $\unicode{x2014}$ as a stochastic generator and as a reasoning evaluator $\unicode{x2014}$ and proposes a unified framework that leverages both capabilities in a complementary manner. We provide theoretical guarantees showing that, as long as either the generator or the evaluator is well-aligned with human preferences, the portfolio is guaranteed to contain high-quality candidates, enabling a principled human-in-the-loop process in which a decision-maker can review multiple candidates before committing to one. We further validate our approach empirically, demonstrating strong performance across a range of optimization modeling tasks.