NED-Tree: 비선형 요소 분해 트리를 활용하여 LLM의 비선형 최적화 모델링의 의미 간 간극을 해소하는 방법

NED-Tree: Bridging the Semantic Gap with Nonlinear Element Decomposition Tree for LLM Nonlinear Optimization Modeling

운영 연구(OR) 문제를 자연어에서 실행 가능한 모델로 자동 번역하는 것은 매우 중요한 과제입니다. 대규모 언어 모델(LLM)은 선형 작업에서 유망한 결과를 보여주었지만, 수학적 공식과 솔버 코드 간의 의미 불일치 및 불안정한 정보 추출로 인해 실제 비선형 시나리오에서는 심각한 성능 저하가 발생합니다. 본 연구에서는 이러한 의미 간 간극을 해소하기 위한 체계적인 프레임워크인 NED-Tree를 소개합니다. NED-Tree는 (a) 문장별 추출 전략을 사용하여 강력한 매개변수 매핑 및 추적성을 보장하고, (b) 복잡한 비선형 항을 솔버와 호환되는 하위 요소로 적응적으로 분해하는 재귀적 트리 기반 구조를 활용합니다. 또한, 복잡한 비선형 및 광범위한 제약 조건을 가진 OR 문제에 특화된 새로운 벤치마크인 NEXTOR를 제시합니다. 10개의 벤치마크에 대한 실험 결과, NED-Tree는 평균 72.51%의 정확도를 달성하며 새로운 최고 성능을 기록했습니다. NED-Tree는 요소 분해를 통해 LLM이 비선형 모델링의 어려움을 해결하도록 하는 최초의 프레임워크로서, 모델링 의미와 코드 의미를 일치시킵니다. NED-Tree 프레임워크 및 벤치마크는 익명 저장소 https://anonymous.4open.science/r/NORA-NEXTOR에서 사용할 수 있습니다.

Automating the translation of Operations Research (OR) problems from natural language to executable models is a critical challenge. While Large Language Models (LLMs) have shown promise in linear tasks, they suffer from severe performance degradation in real-world nonlinear scenarios due to semantic misalignment between mathematical formulations and solver codes, as well as unstable information extraction. In this study, we introduce NED-Tree, a systematic framework designed to bridge the semantic gap. NED-Tree employs (a) a sentence-by-sentence extraction strategy to ensure robust parameter mapping and traceability; and (b) a recursive tree-based structure that adaptively decomposes complex nonlinear terms into solver-compatible sub-elements. Additionally, we present NEXTOR, a novel benchmark specifically designed for complex nonlinear, extensive-constraint OR problems. Experiments across 10 benchmarks demonstrate that NED-Tree establishes a new state-of-the-art with 72.51% average accuracy, NED-Tree is the first framework that drives LLMs to resolve nonlinear modeling difficulties through element decomposition, achieving alignment between modeling semantics and code semantics. The NED-Tree framework and benchmark are accessible in the anonymous repository https://anonymous.4open.science/r/NORA-NEXTOR.