모델은 행복을 어디에서 찾는가? 오픈 소스 LLM 모델의 감정 벡터

Where Do Models Find Happiness? Emotion Vectors in Open-Source LLMs

최근 연구에서는 Claude Sonnet 4.5 모델에서 감정 개념을 인코딩하고 행동에 원인적으로 영향을 미치며 인간의 심리 구조와 유사한 기하학적 특성을 보이는 내부 표현인 감정 벡터가 발견되었습니다. 본 연구에서는 Apertus-8B-Instruct-2509 및 Gemma-4-E4B-it 두 개의 오픈 웨이트 모델에서, 모델이 생성한 두 가지 데이터 코퍼스를 사용하여 모든 레이어에 걸쳐 감정 대비 벡터를 추출하여 이러한 결과의 일반성을 테스트합니다. 두 모델 모두에서 유효도(valence) 기하학적 구조를 회복했으며, PC1과 유효도의 상관관계는 각각 r = 0.76 및 r = 0.83으로, Claude에서 보고된 r = 0.81에 근접하는 결과를 얻었습니다. 단순히 재현성을 확인하는 것 외에도, 모델 깊이에 따른 유효성 표현의 등장 방식에서 주목할 만한 차이를 관찰했습니다. Gemma-4-E4B-it 모델에서는 초기 레이어에서 강하게 인코딩된 유효성이 후기 레이어로 진행될수록 약화되는 반면, Apertus-8B-Instruct-2509 모델은 그 반대 패턴을 보이며, 초기 레이어에는 유효성 표현이 없고 중간 깊이에서 나타납니다. 흥분(arousal) 인코딩은 추출 데이터 코퍼스에 따라 민감하게 반응하는데, 두 모델 모두 Gemma가 생성한 이야기에서는 PC2와 흥분의 상관관계가 더 높게 나타나지만 (r 최대 0.45), Apertus가 생성한 이야기에서는 낮게 나타납니다 (r ≤ 0.21). 이는 흥분과 관련된 단서들이 생성된 데이터 코퍼스에 고르게 분포되어 있지 않음을 시사합니다. 본 연구에서는 감정 표현에 대한 언어 모델 아키텍처 간의 재현 가능한 조사를 위해 실험 코드와 데이터셋을 공개합니다.

Recent work identified emotion vectors in Claude Sonnet 4.5, which are internal representations that encode emotion concepts, causally influence behavior, and exhibit geometry mirroring human psychological structure. We test the generality of these findings in two open-weight models, Apertus-8B-Instruct-2509 and Gemma-4-E4B-it, extracting emotion contrast vectors across all layers, using two model-generated corpora. We recover valence geometry for both models, with peak PC1--valence correlations of $r = 0.76$ and $r = 0.83$, approaching the $r = 0.81$ reported for Claude.Beyond replication, we observe notable differences in how valence representations emerge across model depth. In Gemma-4-E4B-it, valence is strongly encoded in early layers but collapses towards later layers, whereas Apertus-8B-Instruct-2509 exhibits the opposite pattern, with valence representations absent in early layers, but emerging at mid depths. Arousal encoding, in contrast, is sensitive to the extraction corpus: both models show stronger PC2--arousal alignment with Gemma-generated stories ($r$ up to $0.45$) than Apertus-generated ones ($r \leq 0.21$), suggesting arousal-relevant cues are unevenly distributed across generated corpora. We open-source our experiment code and dataset for reproducible investigation of emotion representations across language model architectures.