실시간 차량 배차를 위한 선호도 기반 다목적 최적화

Preference-Agile Multi-Objective Optimization for Real-time Vehicle Dispatching

다목적 최적화(MOO)는 실제 응용 분야에서 인간 중심의 의사 결정을 위한 다재다능함 덕분에 문헌에서 널리 연구되어 왔습니다. 최근, 급변하는 시장 상황으로 인해 다양한 목표에 대한 우선순위를 실시간으로 조정해야 하는 요구가 증가하면서 동적 MOO에 대한 수요가 빠르게 증가하고 있습니다. 그러나 대부분의 기존 연구는 현실적이지 않은 결정론적 MOO 문제에 초점을 맞추거나, 일부 실제 복잡성을 처리할 수 없는 비순차적 동적 MOO 의사 결정 문제에 초점을 맞추고 있습니다. 이러한 과제를 해결하기 위해, 본 논문에서는 사용자가 실시간으로 선호도를 동적으로 조정하고 상호 작용할 수 있도록 하는 선호도 기반 다목적 최적화(PAMOO) 방법을 제안합니다. 이를 달성하기 위해, 사용자로부터 동적인 선호도 벡터를 명시적으로 입력으로 받을 수 있는 딥 강화 학습(DRL) 프레임워크 내의 새로운 통합 모델을 제안합니다. 또한, 선호도 벡터 입력과 출력 DRL 의사 결정 정책 간의 높은 품질의 일관성을 보장하기 위해 보정 함수를 사용합니다. 컨테이너 터미널의 어려운 실제 차량 배차 문제에 대한 광범위한 실험 결과, PAMOO는 두 가지 가장 인기 있는 MOO 방법에 비해 우수한 성능과 일반화 능력을 보여주었습니다. 본 방법은 어려운 동적 순차적 MOO 의사 결정 문제에 대한 최초의 동적 MOO 방법입니다.

Multi-objective optimization (MOO) has been widely studied in literature because of its versatility in human-centered decision making in real-life applications. Recently, demand for dynamic MOO is fast-emerging due to tough market dynamics that require real-time re-adjustments of priorities for different objectives. However, most existing studies focus either on deterministic MOO problems which are not practical, or non-sequential dynamic MOO decision problems that cannot deal with some real-life complexities. To address these challenges, a preference-agile multi-objective optimization (PAMOO) is proposed in this paper to permit users to dynamically adjust and interactively assign the preferences on the fly. To achieve this, a novel uniform model within a deep reinforcement learning (DRL) framework is proposed that can take as inputs users' dynamic preference vectors explicitly. Additionally, a calibration function is fitted to ensure high quality alignment between the preference vector inputs and the output DRL decision policy. Extensive experiments on challenging real-life vehicle dispatching problems at a container terminal showed that PAMOO obtains superior performance and generalization ability when compared with two most popular MOO methods. Our method presents the first dynamic MOO method for challenging \rev{dynamic sequential MOO decision problems