의미론을 넘어선 실시간 정렬된 보상 모델

Real-Time Aligned Reward Model beyond Semantics

인간 피드백 기반 강화 학습(RLHF)은 대규모 언어 모델(LLM)을 인간의 선호도에 맞추는 데 중요한 기술이지만, 정책 모델이 보상 모델에 과도하게 적응하여, 인간의 의도를 정확하게 반영하는 대신, 인위적인 보상 패턴을 활용하는 '보상 과최적화' 문제가 발생할 수 있습니다. 기존의 해결 방법은 주로 표면적인 의미 정보에 의존하며, 강화 학습 과정에서 지속적으로 변화하는 정책 분포로 인해 발생하는 보상 모델과 정책 모델 간의 불일치를 효율적으로 해결하지 못합니다. 이는 필연적으로 보상 불일치를 증가시키고, 보상 과최적화를 악화시킵니다. 이러한 한계를 극복하기 위해, 우리는 실시간 정렬된 보상 모델(R2M)이라는 새로운 경량화된 RLHF 프레임워크를 제안합니다. R2M은 기존의 보상 모델이 사전 학습된 LLM의 의미 표현에만 의존하는 방식에서 벗어나, 강화 학습 과정 동안 정책의 실시간 분포 변화에 맞춰 정책으로부터 얻은 피드백(정책 피드백)을 활용하여 보상 모델을 정렬합니다. 본 연구는 정책 모델로부터 얻은 피드백을 실시간으로 활용하여 보상 모델의 성능을 향상시키는 유망한 새로운 방향을 제시합니다.

Reinforcement Learning from Human Feedback (RLHF) is a pivotal technique for aligning large language models (LLMs) with human preferences, yet it is susceptible to reward overoptimization, in which policy models overfit to the reward model, exploit spurious reward patterns instead of faithfully capturing human intent. Prior mitigations primarily relies on surface semantic information and fails to efficiently address the misalignment between the reward model (RM) and the policy model caused by continuous policy distribution shifts. This inevitably leads to an increasing reward discrepancy, exacerbating reward overoptimization. To address these limitations, we introduce R2M (Real-Time Aligned Reward Model), a novel lightweight RLHF framework. R2M goes beyond vanilla reward models that solely depend on the semantic representations of a pretrained LLM. Instead, it leverages the evolving hidden states of the policy (namely policy feedback) to align with the real-time distribution shift of the policy during the RL process. This work points to a promising new direction for improving the performance of reward models through real-time utilization of feedback from policy models.