LaT: LLM을 활용한 다중 작업 차량 경로 최적화 모델 학습 방법

LaT: LLM-as-Trainer for Multi-Task Vehicle Routing Solvers

다중 작업 신경망 솔버는 다양한 차량 경로 문제(VRP) 변형을 단일 모델 내에서 처리하는 것을 목표로 하며, 각 제약 조건 조합에 대한 별도의 학습 과정을 피할 수 있습니다. 그러나 VRP 변형은 최적화 난이도가 다르며, 기존 방법은 학습 상태에 대한 단계별 피드백을 제공하지 못하여 특정 변형에 편향된 모델이 생성될 수 있습니다. 메타학습은 적응적인 학습을 지원할 수 있지만, 일반적으로 양층 최적화와 추가적인 기울기 업데이트가 필요하며, 이는 계산 비용을 증가시킵니다. 이러한 제한 사항을 해결하기 위해, 본 논문에서는 사전 훈련된 대규모 언어 모델(LLM)을 외부 학습자로 활용하는 간단하게 적용 가능한 학습 패러다임인 LLM-as-Trainer (LaT)를 제안합니다. LaT는 주기적으로 교차 작업 검증 지표를 분석하여 단계별 가이드 벡터를 생성하며, 이 벡터는 현재 작업의 제약 조건 벡터와 결합되어 각 인코더 레이어에 주입됩니다. 이를 통해 신경망 솔버는 이후 정책 최적화 과정에서 추가적인 학습 정보를 얻을 수 있습니다. 16개의 VRP 변형에 대한 실험 결과, LaT는 기존의 여러 최첨단 다중 작업 신경망 솔버의 성능을 향상시키며, 이는 제안된 학습 패러다임의 효과성과 일반성을 뒷받침합니다.

Multi-task neural solvers aim to handle multiple Vehicle Routing Problem (VRP) variants within a unified model, avoiding separate training for each constraint combination. However, VRP variants differ in optimization difficulty, while existing methods lack stage-wise feedback on their training status, making the model biased to some specific variants. Although meta-learning can support adaptive training, it typically requires bi-level optimization and additional gradient updates, increasing computational cost. To address this limitation, we propose LLM-as-Trainer (LaT), a plug-and-play training paradigm that uses a pretrained large language model as an external trainer. LaT periodically analyzes cross-task validation metrics to generate a stage-wise guidance vector. This vector is combined with the current task's constraint vector and injected into each encoder layer, providing the neural solver with additional training information during subsequent policy optimization. Experiments on 16 VRP variants show that LaT improves the solution quality of several state-of-the-art multi-task neural solvers on both trained and unseen variants, supporting the effectiveness and generality of the proposed training paradigm.