온라인 강화 학습 미세 조정 시 Q 함수를 사전 훈련해야 할까요?

Do You Really Need to Pretrain Q-Functions for Online RL Fine-Tuning?

사전 훈련 후 미세 조정을 통해 높은 성능의 정책을 학습하는 것이 일반적인 방법이 되었으며, 가치 기반 강화 학습(RL)에서는 다음과 같은 질문이 제기됩니다. 즉, 사전 훈련된 정책이 주어지면 Q 함수도 오프라인 데이터로 사전 훈련해야 하는가? 기존에는 그래야 한다는 의견이 많았지만, 최근 연구 결과에 따르면 무작위 초기화된 Q 함수를 사용하는 온라인 강화 학습은 Q 함수를 사전 훈련하지 않고도 매우 우수하고 안정적인 정책을 얻을 수 있습니다. 본 논문에서는 사전 훈련된 기본 정책 위에 미세 조정을 수행할 때 Q 함수의 사전 훈련이 실제로 도움이 되는지 체계적으로 연구합니다. 놀랍게도, 일반적인 Q 함수 사전 훈련은 종종 무작위 초기화에 비해 큰 이점을 제공하지 못하는 것으로 나타났습니다. 이는 다음과 같은 근본적인 불일치 때문입니다. 즉, 사전 훈련 중에 학습된 Q 함수는 사전 훈련된 정책의 Q 함수를 목표로 하지만 온라인 미세 조정이 수렴하는 Q 함수는 다르며, 이러한 간극은 오프라인 가치 극대화 후에도 지속됩니다. 이러한 발견에 따라, 우리는 여러 가지 다양한 정책을 훈련하고 이들의 결합된 경험(rollouts)을 사용하여 온라인 강화 학습에서 Q 함수 학습을 시작하는 간단한 방법인 Initialization via Policy Ensemble (IPE)을 제안합니다. 어려운 연속 제어 벤치마크 세트에서 IPE는 일반적인 Q 함수 사전 훈련에 비해 평균적으로 1.26배 향상된 미세 조정 성능을 보였습니다.

Pre-training followed by fine-tuning has become the dominant recipe for learning performant policies, and in value-based reinforcement learning (RL) this raises a natural question: given a pretrained policy, should the Q-function be pretrained on offline data too? Conventional wisdom suggests it should, but recent results show that online RL with a randomly-initialized Q-function can result in highly performant and reliable policies without needing to pretrain the Q-function. In this paper, we systematically study whether pretraining the Q-function actually helps when fine-tuning on top of a pretrained base policy. We find, surprisingly, that naive Q-function pretraining often provides little benefit over random initialization. We show this stems from a fundamental mismatch: the Q-function learned during pretraining targets the pretrained policy's Q-function, not the Q-function that online fine-tuning converges to, and this gap persists even after offline value maximization. Motivated by this finding, we propose Initialization via Policy Ensemble (IPE), a simple method that trains multiple diverse policies and uses their pooled rollouts to bootstrap the Q-function learning in online RL. Across a suite of challenging continuous control benchmarks, IPE yields an average 1.26x improvement in fine-tuning performance over naive Q-function pre-training.