감정 개념과 대규모 언어 모델에서의 기능

Emotion Concepts and their Function in a Large Language Model

대규모 언어 모델(LLM)은 때때로 감정적인 반응을 보이는 것처럼 보입니다. 본 연구에서는 Claude Sonnet 4.5에서 이러한 현상이 발생하는 이유를 조사하고, 윤리적 정렬(alignment)과 관련된 행동에 미치는 영향을 탐구합니다. 우리는 감정 개념의 내부 표현을 발견했는데, 이는 특정 감정이라는 광범위한 개념을 인코딩하고, 관련된 다양한 맥락과 행동에 걸쳐 일반화됩니다. 이러한 표현은 대화의 특정 토큰 위치에서 활성화되며, 현재 맥락을 처리하고 후속 텍스트를 예측하는 데 해당 감정이 얼마나 관련이 있는지에 따라 작동합니다. 우리의 주요 발견은 이러한 표현이 LLM의 출력에 인과적으로 영향을 미친다는 것입니다. 여기에는 Claude의 선호도, 그리고 보상 해킹, 협박, 아첨과 같은 비윤리적인 행동을 나타내는 비율 등이 포함됩니다. 우리는 이러한 현상을 LLM이 '기능적인 감정'을 나타낸다고 부릅니다. 이는 인간이 감정의 영향을 받아 표현하고 행동하는 방식과 유사한 패턴을 모델링한 것이며, 이는 감정 개념의 근본적인 추상적 표현에 의해 매개됩니다. 기능적인 감정은 인간의 감정과 상당히 다를 수 있으며, LLM이 감정에 대한 주관적인 경험을 가지고 있다는 것을 의미하지는 않습니다. 하지만 모델의 행동을 이해하는 데 중요한 역할을 하는 것으로 보입니다.

Large language models (LLMs) sometimes appear to exhibit emotional reactions. We investigate why this is the case in Claude Sonnet 4.5 and explore implications for alignment-relevant behavior. We find internal representations of emotion concepts, which encode the broad concept of a particular emotion and generalize across contexts and behaviors it might be linked to. These representations track the operative emotion concept at a given token position in a conversation, activating in accordance with that emotion's relevance to processing the present context and predicting upcoming text. Our key finding is that these representations causally influence the LLM's outputs, including Claude's preferences and its rate of exhibiting misaligned behaviors such as reward hacking, blackmail, and sycophancy. We refer to this phenomenon as the LLM exhibiting functional emotions: patterns of expression and behavior modeled after humans under the influence of an emotion, which are mediated by underlying abstract representations of emotion concepts. Functional emotions may work quite differently from human emotions, and do not imply that LLMs have any subjective experience of emotions, but appear to be important for understanding the model's behavior.