맥락 정보와 가치 사전 지식을 베이지안 융합을 통한 맥락 기반 강화 학습

In-Context Reinforcement Learning through Bayesian Fusion of Context and Value Prior

맥락 기반 강화 학습(ICRL)은 파라미터 업데이트 없이 새로운 환경에 빠르게 적응할 수 있는 가능성을 제시하지만, 현재의 방법들은 학습 분포를 벗어난 성능 향상을 이루지 못하거나, 최적에 가까운 데이터를 필요로 하여 실질적인 적용에 제한이 있습니다. 본 논문에서는 딥 앙상블을 통해 Q-값에 대한 사전 지식을 학습하고, 테스트 시점에 맥락 정보를 활용하여 베이지안 업데이트를 수행하는 베이지안 ICRL 방법인 SPICE를 소개합니다. 최적 이하의 데이터로 학습했을 때 발생하는 부정확한 사전 지식에서 회복하기 위해, SPICE는 온라인 추론 과정에서 Upper-Confidence Bound 규칙을 따르며, 탐색과 적응을 장려합니다. 우리는 SPICE가 최적 이하의 경로 데이터만으로 사전 학습되었을 때에도, 확률적 방니시와 유한 시간 MDP 환경에서 후회 최소화(regret-optimal) 성능을 달성한다는 것을 증명합니다. 이러한 결과는 다양한 방니시 및 제어 벤치마크를 통해 실증적으로 검증되었습니다. SPICE는 새로운 작업에서 거의 최적의 의사 결정을 내리고, 기존의 ICRL 및 메타 강화 학습 접근 방식에 비해 현저히 낮은 후회를 가지면서, 새로운 작업에 빠르게 적응하고 분포 변화에 강건한 성능을 보입니다.

In-context reinforcement learning (ICRL) promises fast adaptation to unseen environments without parameter updates, but current methods either cannot improve beyond the training distribution or require near-optimal data, limiting practical adoption. We introduce SPICE, a Bayesian ICRL method that learns a prior over Q-values via deep ensemble and updates this prior at test-time using in-context information through Bayesian updates. To recover from poor priors resulting from training on sub-optimal data, our online inference follows an Upper-Confidence Bound rule that favours exploration and adaptation. We prove that SPICE achieves regret-optimal behaviour in both stochastic bandits and finite-horizon MDPs, even when pretrained only on suboptimal trajectories. We validate these findings empirically across bandit and control benchmarks. SPICE achieves near-optimal decisions on unseen tasks, substantially reduces regret compared to prior ICRL and meta-RL approaches while rapidly adapting to unseen tasks and remaining robust under distribution shift.