대규모 언어 모델의 표면적인 심리적 특성은 주로 측정 오류에서 비롯된 것임

Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact

인간을 위해 설계된 심리 검사 도구가 점점 더 많이 사용되어, 대규모 언어 모델(LLM)에 안정적인 심리적 프로필을 부여하고 있으며, 이는 LLM의 유용성, 안전성 평가 및 연구에서 인간 참가자를 대체하는 데 활용됩니다. 본 연구에서는 형식적인 심리 측정 프레임워크를 사용하여 이러한 프로필이 주로 측정 오류에서 비롯된 현상임을 보여줍니다. 우리는 56개의 명령어-튜닝된 LLM과 대규모의 인간 참조 샘플에 대해 성격 및 위험 선호도 검사 도구를 시행하고, 다음과 같은 네 가지 결과를 보고합니다. 첫째, 모델 간의 차이는 해당 검사가 측정하려는 특성 때문이 아니라, 일관적으로 특정 방향으로 응답하는 경향, 즉 '방향적 반응 편향' 때문에 발생하는 것입니다. 분산 분석 결과, 모델 간 변동성의 81~90%가 이러한 편향에 기인하며, 인간의 경우 이 비율은 9~16%입니다. 둘째, 이러한 편향은 모델의 능력이 향상됨에 따라 감소하지만 완전히 제거되지는 않습니다. 셋째, 응답이 특성보다는 편향에 의해 결정되기 때문에, 검사의 '겉보기' 신뢰도는 거의 전적으로 응답 직교성에 의해 예측됩니다. 여기서 응답 직교성은 항목 내용과 관계없이 특성과 편향 방향이 반대인 항목의 비율을 의미하는 용어입니다. 넷째, 모델이 나타내는 프로필은 사용된 항목에 따라 달라지며, 항목 선택을 통해 의도적으로 조작될 수 있습니다. 이러한 결과는 LLM의 '겉보기' 심리적 프로필이 모델 자체의 속성이 아니라, 이를 측정하는 데 사용되는 도구에서 비롯된 산물임을 보여줍니다. 인간 심리학에서 차용한 검사 도구가 거의 완벽하게 직교성을 갖지 않으며, 본질적으로 LLM에 대한 유효성을 확보하기 어려울 수 있으므로, 우리는 응답 직교성에 중점을 둔 전용 평가 방법을 제안합니다.

Psychological instruments designed for humans are increasingly used to assign large language models (LLMs) stable psychological profiles that affect their usability, safety assessment, and use as proxies for human participants in research. Using a formal psychometric framework, we show that these profiles are largely a measurement artifact. Administering a battery of personality and risk-preference instruments spanning self-reports and behavioral tasks to 56 instruction-tuned LLMs alongside large human reference samples, we report four findings. First, differences between models are driven not by the traits an instrument targets but by a directional response bias, a tendency to respond toward one end of the scale, or one labeled option, regardless of item content; a variance decomposition attributes 81-90% of between-model variation to this bias, against 9-16% in humans. Second, the bias declines with model capability but is not eliminated by it. Third, because bias rather than trait drives responding, an instrument's apparent reliability is almost entirely predicted by its response orthogonality, a term we coin for the proportion of items for which trait and bias point in opposite directions. Fourth, the profile a model appears to have shifts with the items used and can be manufactured through item selection. These results demonstrate that the apparent psychological profiles of LLMs are artifacts of the instrument used to measure them, not properties of the models themselves. As instruments borrowed from human psychology are rarely fully orthogonal and may inherently lack validity for LLMs, we call for dedicated assessments centered on response orthogonality.