WebGPT: 인간 피드백을 활용한 브라우저 보조 질의응답

WebGPT: Browser-assisted question-answering with human feedback

우리는 모델이 웹을 검색하고 탐색할 수 있는 텍스트 기반 웹 브라우징 환경을 사용하여, 서술형 질문에 답변하도록 GPT-3를 미세 조정(fine-tune)했습니다. 인간이 수행할 수 있는 방식으로 작업을 구성함으로써 모방 학습(imitation learning)을 사용하여 모델을 훈련시킨 뒤, 인간 피드백을 통해 답변의 품질을 최적화할 수 있었습니다. 사실적 정확성에 대한 인간의 평가를 돕기 위해, 모델은 브라우징 중에 답변을 뒷받침하는 출처를 수집해야 합니다. 우리는 레딧(Reddit) 사용자들이 작성한 질문 데이터셋인 ELI5를 사용하여 모델을 훈련하고 평가했습니다. 가장 성능이 뛰어난 모델은 행동 복제(behavior cloning)를 사용하여 GPT-3를 미세 조정한 후, 인간 선호도를 예측하도록 훈련된 보상 모델을 기반으로 기각 샘플링(rejection sampling)을 수행하여 얻어졌습니다. 이 모델의 답변은 인간 시연자의 답변보다 56%, 레딧에서 가장 많은 추천을 받은 답변보다 69%의 비율로 인간에게 더 선호되었습니다.

We fine-tune GPT-3 to answer long-form questions using a text-based web-browsing environment, which allows the model to search and navigate the web. By setting up the task so that it can be performed by humans, we are able to train models on the task using imitation learning, and then optimize answer quality with human feedback. To make human evaluation of factual accuracy easier, models must collect references while browsing in support of their answers. We train and evaluate our models on ELI5, a dataset of questions asked by Reddit users. Our best model is obtained by fine-tuning GPT-3 using behavior cloning, and then performing rejection sampling against a reward model trained to predict human preferences. This model's answers are preferred by humans 56% of the time to those of our human demonstrators, and 69% of the time to the highest-voted answer from Reddit.