마음은 어디에 있는가? 페르소나 벡터와 LLM의 개체화

Where is the Mind? Persona Vectors and LLM Individuation

대규모 언어 모델(LLM)의 개체화 문제는, LLM과 관련된 어떤 요소들이 '마음'으로 간주되어야 하는지에 대한 질문을 던집니다. 우리는 기계적 해석 방식을 통해 이 문제를 접근하며, 특히 최근의 페르소나 벡터, 페르소나 공간, 그리고 자연스럽게 발생하는 불일치 현상에 대한 연구를 살펴봅니다. 우리는 세 가지 관점이 가장 강력한 후보라고 주장합니다. 첫째는 '가상 인스턴스' 관점이고, 둘째와 셋째는 우리가 새롭게 제시하는 '가상 인스턴스-페르소나' 관점과 '모델-페르소나' 관점입니다. 먼저, 우리는 어텐션 스트림이 토큰-시간 축을 통해 유사한 심리적 연결을 유지한다는 근거로 '가상 인스턴스' 관점을 옹호합니다. 그런 다음, 우리는 LLM 내에서 페르소나를 구성하는 내부 구조에 대한 세 가지 가설을 중심으로 페르소나 관련 문헌을 정리하고, 페르소나 기반의 두 관점이 유망한 대안임을 보여줍니다.

The individuation problem for large language models asks which entities associated with them, if any, should be identified as minds. We approach this problem through mechanistic interpretability, engaging in particular with recent empirical work on persona vectors, persona space, and emergent misalignment. We argue that three views are the strongest candidates: the virtual instance view and two new views we introduce, the (virtual) instance-persona view and the model-persona view. First, we argue for the virtual instance view on the grounds that attention streams sustain quasi-psychological connections across token-time. Then we present the persona literature, organised around three hypotheses about the internal structure underlying personas in LLMs, and show that the two persona-based views are promising alternatives.