구체적인 인간 평가를 통한 대화형 에이전트의 정렬 개선

Improving alignment of dialogue agents via targeted human judgements

우리는 프롬프트 기반 언어 모델 베이스라인보다 더 유용하고, 정확하며, 무해하도록 훈련된 정보 탐색 대화형 에이전트인 Sparrow를 제안합니다. 우리는 인간 평가자가 에이전트의 행동을 판단하는 것을 돕기 위해 두 가지 새로운 요소를 추가하여, 인간 피드백 기반 강화 학습(RLHF)으로 모델을 훈련했습니다. 첫째, 에이전트를 더 유용하고 무해하게 만들기 위해 좋은 대화의 요구 사항을 에이전트가 따라야 할 자연어 규칙으로 세분화하고, 평가자에게 각 규칙에 대해 개별적으로 질문했습니다. 우리는 이러한 세분화를 통해 에이전트 행동에 대한 보다 구체적인 인간 평가를 수집할 수 있고, 더 효율적인 규칙 조건부 보상 모델이 가능해짐을 입증했습니다. 둘째, 모델의 발언에 대한 선호도 판단을 수집할 때, 우리 에이전트는 사실적 주장을 뒷받침하는 출처의 증거를 함께 제공합니다. 사실적 질문의 경우, Sparrow가 제공한 증거는 78%의 비율로 응답 내용을 뒷받침했습니다. Sparrow는 베이스라인보다 더 자주 선호되는 동시에 인간의 적대적 프로빙(adversarial probing)에 더 강한 저항력을 보였으며, 프로빙 시 규칙 위반 비율은 8%에 불과했습니다. 마지막으로, 우리는 모델이 규칙을 따르는 법을 학습했음에도 불구하고 분포적 편향을 보일 수 있음을 보여주는 광범위한 분석을 수행했습니다.

We present Sparrow, an information-seeking dialogue agent trained to be more helpful, correct, and harmless compared to prompted language model baselines. We use reinforcement learning from human feedback to train our models with two new additions to help human raters judge agent behaviour. First, to make our agent more helpful and harmless, we break down the requirements for good dialogue into natural language rules the agent should follow, and ask raters about each rule separately. We demonstrate that this breakdown enables us to collect more targeted human judgements of agent behaviour and allows for more efficient rule-conditional reward models. Second, our agent provides evidence from sources supporting factual claims when collecting preference judgements over model statements. For factual questions, evidence provided by Sparrow supports the sampled response 78% of the time. Sparrow is preferred more often than baselines while being more resilient to adversarial probing by humans, violating our rules only 8% of the time when probed. Finally, we conduct extensive analyses showing that though our model learns to follow our rules it can exhibit distributional biases.