이산 최적화 문제 해결을 위한 대규모 언어 모델: 평가 및 단계별 추론

Large Language Model for Discrete Optimization Problems: Evaluation and Step-by-step Reasoning

본 연구에서는 Llama-3 모델 및 ChatGPT를 포함한 다양한 모델이 자연어 데이터셋을 사용하여 이산 최적화 문제를 해결하는 데 있어 갖는 능력들을 조사했습니다. 기존의 제한된 파라미터 범위를 가진 데이터셋과 달리, 본 연구에서 사용한 데이터셋은 다양한 유형의 이산 최적화 문제와 넓은 범위의 파라미터 크기를 포함하며, 대규모 파라미터 세트를 가진 경우를 포함하고 증강된 데이터를 통합했습니다. 본 연구의 목표는 (1) 대규모 문제에 대한 LLM의 능력을 전반적으로 파악하고, (2) 이산 최적화 문제를 자동으로 해결하고자 하는 사람들에게 유용한 제안을 제공하며, (3) 본 연구의 결과를 향후 연구를 위한 벤치마크로 활용하는 것입니다. 본 연구에 사용된 데이터셋은 원본, 확장, 그리고 증강된 데이터셋으로 구성되었으며, 원본 및 증강된 데이터셋은 평가를 위한 것이고, 확장된 데이터셋은 새로운 모델을 파인튜닝하는 데 도움이 될 수 있습니다. 실험에서는 다양한 데이터셋에 대해 강력한 모델과 약한 모델, CoT (Chain-of-Thought) 방법과 CoT를 사용하지 않는 방법들을 비교했습니다. 그 결과, 일반적으로 강력한 모델이 더 나은 성능을 보였습니다. 예상과 달리, CoT 기법이 항상 모델의 성능 향상에 효과적이지 않다는 점도 확인되었습니다. 또한, 무작위로 구성된 데이터셋이 이해하기 쉬운 문제에 대해 모델의 성능을 향상시킬 수 있었지만, 때로는 높은 변동성을 보여 불안정성을 나타내는 것으로 나타났습니다. 따라서 이산 최적화 문제의 자동 해결 능력을 향상시키고자 하는 연구자들에게는 본 연구의 결론과 함께 부록에 제시된 그래프를 참고하여 관련 제안을 얻을 수 있기를 바랍니다.

This work investigated the capabilities of different models, including the Llama-3 series of models and CHATGPT, with different forms of expression in solving discrete optimization problems by testing natural language datasets. In contrast to formal datasets with a limited scope of parameters, our dataset included a variety of problem types in discrete optimization problems and featured a wide range of parameter magnitudes, including instances with large parameter sets, integrated with augmented data. It aimed to (1) provide an overview of LLMs' ability in large-scale problems, (2) offer suggestions to those who want to solve discrete optimization problems automatically, and (3) regard the performance as a benchmark for future research. These datasets included original, expanded and augmented datasets. Among these three datasets, the original and augmented ones aimed for evaluation while the expanded one may help finetune a new model. In the experiment, comparisons were made between strong and week models, CoT methods and No-CoT methods on various datasets. The result showed that stronger model performed better reasonably. Contrary to general agreement, it also showed that CoT technique was not always effective regarding the capability of models and disordered datasets improved performance of models on easy to-understand problems, even though they were sometimes with high variance, a manifestation of instability. Therefore, for those who seek to enhance the automatic resolution of discrete optimization problems, it is recommended to consult the results, including the line charts presented in the Appendix, as well as the conclusions drawn in this study for relevant suggestions.