수치적 및 구조적 매개변수 분리: 딥 강화 학습을 이용한 적응적 유전 알고리즘에 대한 실증 연구 (대규모 순회 판매원 문제)

Decoupling Numerical and Structural Parameters: An Empirical Study on Adaptive Genetic Algorithms via Deep Reinforcement Learning for the Large-Scale TSP

진화 알고리즘(EA)의 성공을 위해서는 적절한 매개변수 설정이 필수적입니다. 다양한 적응 전략이 제안되었지만, 모든 제어 차원이 알고리즘의 확장성에 동일하게 기여하는지 여부는 여전히 미해결 문제입니다. 이를 조사하기 위해, 우리는 제어 변수를 수치적 매개변수(예: 교차율 및 돌연변이율)와 구조적 매개변수(예: 모집단 크기 및 연산 전환)로 분류하고, 이들이 서로 다른 역할을 수행한다는 가설을 설정합니다. 본 논문에서는 순회 판매원 문제(TSP)에 대한 수치적 및 구조적 매개변수의 영향을 분리하고 분석하기 위해, 이중 수준의 딥 강화 학습(DRL) 프레임워크를 활용한 실증 연구를 제시합니다. 우리는 순환형 PPO 에이전트를 사용하여 이러한 매개변수를 동적으로 조절하며, DRL 모델을 진화적 역학을 파악하기 위한 탐침 도구로 활용합니다. 실험 결과는 이 접근 방식의 효과성을 입증합니다. 학습된 정책은 정적 기준보다 우수한 성능을 보이며, 가장 큰 테스트 인스턴스(rl5915)에서 최적성 간극을 약 45% 줄입니다. 검증된 프레임워크를 기반으로, 우리의 분석 결과는 다음과 같은 중요한 통찰력을 제공합니다. 수치적 튜닝은 국소적인 개선을 제공하지만, 구조적 유연성은 정체 현상을 방지하고 지역 최적점에서 벗어나는 데 결정적인 역할을 합니다. 이러한 결과는 향후 자동 알고리즘 설계가 미세한 확률 조정보다 동적인 구조적 재구성을 우선시해야 함을 시사합니다. 재현성을 돕기 위해, 소스 코드는 https://github.com/StarDream1314/DRLGA-TSP 에서 확인할 수 있습니다.

Proper parameter configuration is a prerequisite for the success of Evolutionary Algorithms (EAs). While various adaptive strategies have been proposed, it remains an open question whether all control dimensions contribute equally to algorithmic scalability. To investigate this, we categorize control variables into numerical parameters (e.g., crossover and mutation rates) and structural parameters (e.g., population size and operator switching), hypothesizing that they play distinct roles. This paper presents an empirical study utilizing a dual-level Deep Reinforcement Learning (DRL) framework to decouple and analyze the impact of these two dimensions on the Traveling Salesman Problem (TSP). We employ a Recurrent PPO agent to dynamically regulate these parameters, treating the DRL model as a probe to reveal evolutionary dynamics. Experimental results confirm the effectiveness of this approach: the learned policies outperform static baselines, reducing the optimality gap by approximately 45% on the largest tested instance (rl5915). Building on this validated framework, our ablation analysis reveals a fundamental insight: while numerical tuning offers local refinement, structural plasticity is the decisive factor in preventing stagnation and facilitating escape from local optima. These findings suggest that future automated algorithm design should prioritize dynamic structural reconfiguration over fine-grained probability adjustment. To facilitate reproducibility, the source code is available at https://github.com/StarDream1314/DRLGA-TSP