창발적 구조화된 표현이 대규모 언어 모델에서 유연한 문맥 추론을 지원한다

Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models

대규모 언어 모델(LLM)은 인간과 유사한 추론 능력을 시사하는 창발적인 특성을 보입니다. 최근 연구에서는 이러한 모델 내에 구조화되고 인간과 유사한 개념적 표현이 존재한다는 사실이 밝혀졌지만, 이러한 표현이 실제로 추론 과정에서 기능적으로 어떤 역할을 하는지는 불분명합니다. 본 연구에서는 LLM이 문맥 내 개념 추론을 수행하는 동안 내부적으로 어떤 과정을 거치는지 조사했습니다. 그 결과, 중간층부터 후층에 개념적 서브스페이스가 형성되며, 이 서브스페이스의 표현 구조는 다양한 문맥에서 유지되는 것으로 나타났습니다. 인과적 매개 분석을 통해, 이 서브스페이스가 단순한 부수적인 현상이 아니라 모델의 예측에 기능적으로 중요한 역할을 하며, 추론 과정에 인과적으로 기여한다는 것을 입증했습니다. 또한, 초기에서 중간층의 어텐션 헤드가 문맥 정보를 통합하여 서브스페이스를 구성하고 정제하며, 후속 층에서 이 서브스페이스를 활용하여 예측을 생성하는 계층적인 진행 과정을 확인했습니다. 이러한 결과들은 LLM이 문맥 내에서 추론을 위해 동적으로 구조화된 잠재적 표현을 구성하고 사용한다는 증거를 제공하며, 유연한 적응을 가능하게 하는 계산 과정을 이해하는 데 기여합니다.

Large language models (LLMs) exhibit emergent behaviors suggestive of human-like reasoning. While recent work has identified structured, human-like conceptual representations within these models, it remains unclear whether they functionally rely on such representations for reasoning. Here we investigate the internal processing of LLMs during in-context concept inference. Our results reveal a conceptual subspace emerging in middle to late layers, whose representational structure persists across contexts. Using causal mediation analyses, we demonstrate that this subspace is not merely an epiphenomenon but is functionally central to model predictions, establishing its causal role in inference. We further identify a layer-wise progression where attention heads in early-to-middle layers integrate contextual cues to construct and refine the subspace, which is subsequently leveraged by later layers to generate predictions. Together, these findings provide evidence that LLMs dynamically construct and use structured, latent representations in context for inference, offering insights into the computational processes underlying flexible adaptation.