의미 정보를 넘어선 실시간 정렬 보상 모델

Real-Time Aligned Reward Model beyond Semantics

인간 피드백 기반 강화 학습(RLHF)은 거대 언어 모델(LLM)을 인간의 선호도에 정렬시키는 핵심 기술이지만, 정책 모델이 보상 모델에 과적합되어 인간의 의도를 충실히 반영하기보다 허위 보상 패턴을 악용하게 되는 보상 과잉 최적화(reward overoptimization) 문제에 취약합니다. 기존의 완화책들은 주로 표면적인 의미 정보에 의존하여, 지속적인 정책 분포 변화로 인해 발생하는 보상 모델(RM)과 정책 모델 간의 불일치를 효율적으로 해결하지 못했습니다. 이는 필연적으로 보상 격차를 벌려 보상 과잉 최적화를 심화시킵니다. 이러한 한계를 극복하기 위해, 우리는 새로운 경량 RLHF 프레임워크인 R2M(Real-Time Aligned Reward Model)을 제안합니다. R2M은 사전 학습된 LLM의 의미론적 표현에만 의존하던 기존 보상 모델을 넘어섭니다. 대신, 강화 학습 과정에서 정책의 실시간 분포 변화에 맞춰 정렬하기 위해 진화하는 정책의 은닉 상태(즉, 정책 피드백)를 활용합니다. 본 연구는 정책 모델의 피드백을 실시간으로 활용하여 보상 모델의 성능을 향상시키는 유망하고 새로운 방향을 제시합니다.

Reinforcement Learning from Human Feedback (RLHF) is a pivotal technique for aligning large language models (LLMs) with human preferences, yet it is susceptible to reward overoptimization, in which policy models overfit to the reward model, exploit spurious reward patterns instead of faithfully capturing human intent. Prior mitigations primarily relies on surface semantic information and fails to efficiently address the misalignment between the reward model (RM) and the policy model caused by continuous policy distribution shifts. This inevitably leads to an increasing reward discrepancy, exacerbating reward overoptimization. To address these limitations, we introduce R2M (Real-Time Aligned Reward Model), a novel lightweight RLHF framework. R2M goes beyond vanilla reward models that solely depend on the semantic representations of a pretrained LLM. Instead, it leverages the evolving hidden states of the policy (namely policy feedback) to align with the real-time distribution shift of the policy during the RL process. This work points to a promising new direction for improving the performance of reward models through real-time utilization of feedback from policy models.