솔로키에서 아고라로: 분산 토론을 통한 메모리 강화 LLM 에이전트를 활용한 최적화 모델링

From Soliloquy to Agora: Memory-Enhanced LLM Agents with Decentralized Debate for Optimization Modeling

최적화 모델링은 물류, 제조, 에너지 및 공공 서비스 분야의 실제 의사 결정을 뒷받침하지만, 현재의 대규모 언어 모델(LLM)은 자연어 요구 사항을 기반으로 이러한 문제를 안정적으로 해결하는 데 어려움을 겪고 있습니다. 본 논문에서는 분산 토론과 읽기-쓰기 메모리 저장소를 결합한 모듈식 에이전트 프레임워크인 extit{Agora-Opt}를 제안합니다. Agora-Opt는 여러 에이전트 팀이 독립적으로 엔드투엔드 솔루션을 생성하고, 결과 기반 토론 프로토콜을 통해 이를 조정하도록 합니다. 또한 메모리는 솔버가 검증한 결과물을 저장하고, 과거의 불일치 해결 방안을 저장하여 추가적인 학습 없이도 성능을 향상시킵니다. 이러한 설계는 다양한 백본 및 방법에 적용 가능하며, 기본 모델에 대한 의존성을 줄이고, 서로 다른 LLM 패밀리로의 이전을 용이하게 하며, 기존 파이프라인에 최소한의 연결만으로 적용할 수 있습니다. 공개 벤치마크에서 Agora-Opt는 비교된 모든 방법 중 가장 강력한 전반적인 성능을 달성했으며, 강력한 제로샷 LLM, 학습 중심 접근 방식 및 기존 에이전트 기반 모델보다 우수한 성능을 보였습니다. 추가 분석 결과, 다양한 백본 선택 및 구성 요소 변형에 걸쳐 일관된 성능 향상이 확인되었으며, 분산 토론이 중앙 집중식 선택보다 구조적인 장점을 제공하여 에이전트가 상호 작용을 통해 후보 솔루션을 개선하고, 초기 후보가 모두 잘못되었을 때에도 올바른 수식을 복구할 수 있음을 보여줍니다. 이러한 결과는 안정적인 최적화 모델링이 협업적인 교차 검증과 재사용 가능한 경험을 결합함으로써 얻어질 수 있으며, Agora-Opt는 신뢰할 수 있는 최적화 모델링 지원을 위한 실용적이고 확장 가능한 기반이 될 수 있음을 시사합니다. 코드 및 데이터는 https://github.com/CHIANGEL/Agora-Opt 에서 확인할 수 있습니다.

Optimization modeling underpins real-world decision-making in logistics, manufacturing, energy, and public services, but reliably solving such problems from natural-language requirements remains challenging for current large language models (LLMs). In this paper, we propose \emph{Agora-Opt}, a modular agentic framework for optimization modeling that combines decentralized debate with a read-write memory bank. Agora-Opt allows multiple agent teams to independently produce end-to-end solutions and reconcile them through an outcome-grounded debate protocol, while memory stores solver-verified artifacts and past disagreement resolutions to support training-free improvement over time. This design is flexible across both backbones and methods: it reduces base-model lock-in, transfers across different LLM families, and can be layered onto existing pipelines with minimal coupling. Across public benchmarks, Agora-Opt achieves the strongest overall performance among all compared methods, outperforming strong zero-shot LLMs, training-centric approaches, and prior agentic baselines. Further analyses show robust gains across backbone choices and component variants, and demonstrate that decentralized debate offers a structural advantage over centralized selection by enabling agents to refine candidate solutions through interaction and even recover correct formulations when all initial candidates are flawed. These results suggest that reliable optimization modeling benefits from combining collaborative cross-checking with reusable experience, and position Agora-Opt as a practical and extensible foundation for trustworthy optimization modeling assistance. Our code and data are available at https://github.com/CHIANGEL/Agora-Opt.