추가 학습은 대규모 언어 모델을 인간과 덜 유사하게 만든다
Post-training makes large language models less human-like
대규모 언어 모델(LLM)은 인간 참가자를 대체하는 데 점점 더 많이 사용되지만, 어떤 모델이 인간의 행동을 가장 잘 반영하는지, 그리고 그 이유는 여전히 불분명합니다. 이를 해결하기 위해, 우리는 행동적 일관성을 대규모로 측정할 수 있는 새로운 데이터셋인 Psych-201을 소개합니다. 우리는 추가 학습, 즉 기본 모델을 유용한 도우미로 만드는 단계가 모델 계열, 크기 및 목표에 관계없이 인간 행동과의 일관성을 지속적으로 감소시킨다는 것을 발견했습니다. 더욱이, 이러한 불일치는 기본 모델이 계속 개선되는 동안에도 최신 모델 세대에서 더욱 심화됩니다. 마지막으로, 인간과 유사한 행동을 유도하기 위해 모델에 참가자별 정보를 조건부로 부여하는 인기 있는 기술인 '페르소나 유도'는 개인 수준의 예측 성능을 향상시키지 못한다는 것을 확인했습니다. 종합적으로 볼 때, 우리의 결과는 현재 LLM을 유용한 도우미로 만들기 위해 사용되는 과정 자체가 인간 행동에 대한 모델의 정확성을 떨어뜨린다는 것을 시사합니다.
Large language models (LLMs) are increasingly used as surrogates for human participants, but it remains unclear which models best capture human behavior and why. To address this, we introduce Psych-201, a novel dataset that enables us to measure behavioral alignment at scale. We find that post-training -- the stage that turns base models into useful assistants -- consistently reduces alignment with human behavior across model families, sizes, and objectives. Moreover, this misalignment widens in newer model generations even as base models continue to improve. Finally, we find that persona-induction -- a popular technique for eliciting human-like behavior by conditioning models on participant-specific information -- does not improve predictions at the level of individuals. Taken together, our results suggest that the very processes that are currently employed to turn LLMs into useful assistants also make them less accurate models of human behavior.
No Analysis Report Yet
This paper hasn't been analyzed by Gemini yet.
Log in to request an AI analysis.