의미가 존재하는 곳: 인코더 및 디코더 언어 모델에서 심리언어학적 특징의 계층별 접근성

Where meaning lives: Layer-wise accessibility of psycholinguistic features in encoder and decoder language models

트랜스포머 언어 모델이 의미의 심리적으로 중요한 측면을 어떻게 인코딩하는지 이해하는 것은 이론적 연구와 실용적 응용 모두에 필수적입니다. 본 연구에서는 인코더 전용 및 디코더 전용 아키텍처를 포함한 10개의 트랜스포머 모델에 대해 58개의 심리언어학적 특징을 대상으로 계층별 분석을 수행하고, 3가지 임베딩 추출 방법을 비교합니다. 분석 결과, 의미의 특정 위치에 대한 인식은 사용된 방법에 따라 크게 달라지는 것으로 나타났습니다. 문맥화된 임베딩은 독립적인 임베딩보다 특징별 선택성이 높으며, 계층별 분포 또한 다릅니다. 모델과 방법에 관계없이, 최종 계층의 표현은 선형 탐색을 통해 심리언어학적 정보를 복원하는 데 거의 최적화되지 않습니다. 이러한 차이점에도 불구하고, 모델들은 의미 차원의 공통적인 깊이 순서를 나타냅니다. 즉, 어휘적 특성은 초기에 최고점을 보이고, 경험적 및 감정적 차원은 나중에 최고점을 보입니다. 종합적으로, 본 연구 결과는 트랜스포머 모델에서 의미가

Understanding where transformer language models encode psychologically meaningful aspects of meaning is essential for both theory and practice. We conduct a systematic layer-wise probing study of 58 psycholinguistic features across 10 transformer models, spanning encoder-only and decoder-only architectures, and compare three embedding extraction methods. We find that apparent localization of meaning is strongly method-dependent: contextualized embeddings yield higher feature-specific selectivity and different layer-wise profiles than isolated embeddings. Across models and methods, final-layer representations are rarely optimal for recovering psycholinguistic information with linear probes. Despite these differences, models exhibit a shared depth ordering of meaning dimensions, with lexical properties peaking earlier and experiential and affective dimensions peaking later. Together, these results show that where meaning "lives" in transformer models reflects an interaction between methodological choices and architectural constraints.