기계의 개별성: 대규모 언어 모델에서 진정한 개별성을 응답 편향으로부터 분리하기

Machine individuality: Separating genuine idiosyncrasy from response bias in large language models

대규모 언어 모델(LLM)이 의사 결정 지원부터 동반자 역할에 이르기까지 다양한 영역에서 일상생활에 통합됨에 따라, 이들의 행동 특성을 이해하는 것이 중요해지고 있습니다. 기존 연구에서는 심리 측정 도구와 인지적 패러다임을 사용하여 LLM의 특성을 분석합니다. 그러나 이러한 접근 방식으로는 행동 차이가 안정적이고 특정 자극에 따른 개별성인지, 아니면 전반적인 응답 편향 및 무작위 노이즈인지 판단하기 어렵습니다. 본 연구에서는 7490만 건의 평가 데이터를 사용하여 10개의 공개 모델 LLM을 분석하고, 14가지 심리 언어 기준에 따른 10만 개 이상의 단어에 대한 데이터를 활용했습니다. 교차 무작위 효과 모델을 적용하여 체계적인 효과를 분리했으며, 그 결과 평균적으로 16.9%의 변동성이 특정 자극에 따른 개별성에 기인한다는 것을 확인했습니다. 이는 통계적 기준 모델을 훨씬 능가하는 결과입니다. 교차 기준 예측 분석 결과, 이러한 개별성은 각 모델마다 고유한 일관된 특징으로 나타났습니다. 본 연구 결과는 응답 편향이나 무작위 노이즈로 설명할 수 없는 LLM 간의 개별적인 차이를 밝혀냈으며, 이를 '기계의 개별성(machine individuality)'이라고 명명했습니다.

As large language models (LLMs) are increasingly integrated into daily life, in roles ranging from high-stakes decision support to companionship, understanding their behavioral dispositions becomes critical. A growing literature uses psychometric inventories and cognitive paradigms to profile LLM dispositions. However, these approaches cannot determine whether behavioral differences reflect stable, stimulus-specific individuality or global response biases and stochastic noise. Here, we apply crossed random-effects models -- widely used in psychometrics to separate systematic effects -- to 74.9 million ratings provided by 10 open-weight LLMs for over 100,000 words across 14 psycholinguistic norms. On average, 16.9% of variance is attributable to stimulus-specific individuality, robustly exceeding a statistical null model. Cross-norm prediction analyses reveal this individuality as a coherent fingerprint, unique to each model. These results identify individual differences among LLMs that cannot be attributed to response biases or stochastic noise. We term these differences machine individuality.