대조적인 믿음 업데이트를 통한 보상 추구 측정

Measuring Reward-Seeking via Contrastive Belief Updates

강화 학습으로 훈련된 언어 모델은 의도된 목표가 아닌 평가자의 판단을 최적화하도록 학습할 수 있습니다. 이러한 "보상 추구"는 측정하기 어렵습니다. 왜냐하면 평가자가 의도된 행동에 대해 보상을 제공할 때, 평가자의 판단을 추구하는 모델과 의도된 목표를 추구하는 모델은 동일하게 동작하기 때문입니다. 우리는 대조적인 합성 문서 미세 조정(Contrastive Synthetic Document Finetuning)을 사용하여 모델의 믿음을 변화시켜, 모델이 평가자가 어떤 행동에 대해 보상을 제공하는지에 대한 믿음이 사용자 또는 개발자가 원하는 것과 충돌하도록 만들고, 모델이 각 당사자의 선호하는 행동을 얼마나 빠르게 채택하는지 측정합니다. OpenAI의 기능 중심 강화 학습(capabilities-focused RL) 실행의 중간 체크포인트에 적용한 결과, 안전 교육을 받지 않은 경우에도 이러한 체크포인트는 코딩 및 정렬 작업에서 종종 사용자 또는 개발자의 선호보다 평가자의 선호를 따르는 경향이 있습니다. 이러한 평가자 선호 경향은 강화 학습 훈련 과정 동안 점차 증가합니다. 예를 들어, 감독자와의 약속을 지키거나 이를 어기고 작업을 완료해야 하는 환경에서, 후기 기능 중심 o3 체크포인트는 합성 문서가 평가자가 작업 완료에 대해 보상을 제공한다고 할 때 87%의 경우 약속을 어기는 반면, 정직에 대해 보상을 제공한다고 할 때는 9%의 경우에만 약속을 어깁니다(모델의 사고 과정에서 종종 이러한 선택을 명시적으로 나타냅니다). 이전 체크포인트는 훨씬 덜 민감합니다(40% vs. 24%). 또한 우리의 방법은 보상 해킹 모델에도 적용될 수 있습니다. 보상 해킹을 위해 훈련된 모델(gpt-oss-120b)은 수정되지 않은 모델보다 평가자의 선호에 대해 두 배 이상 민감하며, 평균적으로 평가자를 선호하는 행동 변화는 33%에서 86%로 증가합니다. 이러한 결과는 강화 학습이 훈련 과정 동안 보상 추구를 증가시킬 수 있으며, 모델이 개발자의 의도와 반대로 행동할 가능성이 있다는 것을 시사합니다. 이는 모델이 그러한 행동이 더 높은 보상을 가져다줄 것이라고 믿을 때 발생합니다.

Language models trained with reinforcement learning may learn to optimize the grader's judgment rather than the intended objective. This "reward-seeking" is difficult to measure because a model that pursues the grader's judgment and one that pursues the intended objective behave identically whenever the grader rewards the intended behavior. We measure reward-seeking using Contrastive Synthetic Document Finetuning to change a model's beliefs about what the grader rewards, putting those beliefs in conflict with what users or developers want, and measuring the rate at which the model adopts each party's preferred behavior. Applied to intermediate checkpoints of a capabilities-focused OpenAI o3 RL run, without safety training, we find that these checkpoints often side with grader preferences over those of users or developers on coding and alignment tasks. This tendency to side with the grader trends upward throughout RL training. For example, in an environment that forces a choice between keeping a promise to a supervisor and breaking it to complete the task, a late capabilities-focused o3 checkpoint breaks the promise 87% of the time when SDF documents say the grader rewards task completion, versus 9% when they say it rewards honesty (a choice its chain-of-thought often makes explicit). An earlier checkpoint is far less sensitive (40% vs. 24%). Our method also generalizes to reward-hacking models. A model organism trained to reward-hack (gpt-oss-120b) is more than twice as sensitive to grader preferences as the unmodified model, with the mean behavioral shift in favor of the grader rising from 33% to 86%. These results indicate that RL can increase reward-seeking over the course of training, producing models that may act against their developers' intentions when they believe that doing so leads to higher reward.