표 형식 MDP에서 이동된 전환 동역학을 갖는 하이브리드 강화 학습을 위한 통일된 알고리즘 프레임워크

A Unified Algorithmic Framework for Hybrid Reinforcement Learning in Tabular MDPs with Shifted Transition Dynamics

본 논문에서는 표 형식 마르코프 결정 과정(MDP) 환경에서의 하이브리드 강화 학습 설정을 연구합니다. 여기서 에이전트는 목표 환경과의 실시간 상호 작용과 소스 환경에서 수집된 오프라인 데이터를 결합하여 최적의 정책을 학습하는 것을 목표로 합니다. 주요 과제는 오프라인 데이터가 이전 버전의, 전환 동역학이 변경된 환경에서 수집되었을 수 있으며, 이는 과거 데이터의 단순 통합을 비효율적으로 만든다는 점입니다. 이를 해결하기 위해, 우리는 두 가지 알고리즘인 MIN-UCB-VI (후회 최소화를 위한 알고리즘) 및 MAX-LCB-VI (최적 정책 식별을 위한 알고리즘)를 특징으로 하는 통일된 알고리즘 프레임워크를 제안합니다. 두 알고리즘 모두 세분화된 편향 정보를 활용하여 일반적인 전환 변화 하에서 오프라인 데이터를 보다 효과적으로 활용합니다. 우리는 우리 프레임워크에 대한 이론적 보장을 제공하며, 여기에는 후회 및 최적성 간극에 대한 인스턴스 의존적 및 독립적 상한 모두가 포함됩니다. 또한, 우리는 매칭되는 하한을 제시하여 우리의 접근 방식의 최적성을 입증하고 광범위한 실험을 통해 우리의 이론적 결과를 검증합니다.

This paper investigates a hybrid reinforcement learning setting in tabular Markov Decision Processes (MDPs), where an agent aims to learn an optimal policy by combining online interactions with a target environment and offline data from a source environment. A central challenge is that offline data may be collected from outdated environments with shifted transition dynamics, making naive integration of historical data ineffective. To address this, we propose a unified algorithmic framework featuring two algorithms: MIN-UCB-VI for regret minimization and MAX-LCB-VI for best policy identification. Both algorithms leverage fine-grained bias information to more effectively exploit offline data under general transition shifts. We provide theoretical guarantees for our framework, including both instance-dependent and independent upper bounds on regret and sub-optimality gap. Furthermore, we establish matching lower bounds to demonstrate the optimality of our approach and validate our theoretical findings through extensive experiments.