정렬(Alignment) 연구를 위한 실험실로서의 범용 언어 어시스턴트

A General Language Assistant as a Laboratory for Alignment

거대 언어 모델의 광범위한 능력을 고려할 때, 유용하고(helpful) 정직하며(honest) 해롭지 않은(harmless) 인간의 가치에 정렬된 범용 텍스트 기반 어시스턴트를 개발하는 것이 가능할 것입니다. 이러한 방향의 첫 단계로, 우리는 프롬프팅과 같은 간단한 베이스라인 기법과 평가 방법을 연구합니다. 연구 결과, 적절한 개입의 이점은 모델 크기가 커질수록 증가하고, 다양한 정렬 평가로 일반화되며, 거대 모델의 성능을 저하시키지 않는다는 점을 발견했습니다. 다음으로 우리는 정렬과 관련된 여러 훈련 목표의 스케일링 경향을 조사하여 모방 학습, 이진 판별, 순위 선호도 모델링을 비교합니다. 그 결과 순위 선호도 모델링이 모방 학습보다 훨씬 우수한 성능을 보이며, 종종 모델 크기에 따라 더 유리하게 확장된다는 것을 확인했습니다. 반면, 이진 판별은 일반적으로 모방 학습과 매우 유사한 성능과 확장 추세를 보입니다. 마지막으로, 우리는 인간 선호도에 맞춰 미세 조정(finetuning)할 때 샘플 효율성을 개선하기 위한 목표로 '선호도 모델 사전 훈련(preference model pre-training)' 단계를 연구합니다.

Given the broad capabilities of large language models, it should be possible to work towards a general-purpose, text-based assistant that is aligned with human values, meaning that it is helpful, honest, and harmless. As an initial foray in this direction we study simple baseline techniques and evaluations, such as prompting. We find that the benefits from modest interventions increase with model size, generalize to a variety of alignment evaluations, and do not compromise the performance of large models. Next we investigate scaling trends for several training objectives relevant to alignment, comparing imitation learning, binary discrimination, and ranked preference modeling. We find that ranked preference modeling performs much better than imitation learning, and often scales more favorably with model size. In contrast, binary discrimination typically performs and scales very similarly to imitation learning. Finally we study a `preference model pre-training' stage of training, with the goal of improving sample efficiency when finetuning on human preferences.