UniCog: 잠재 마인드 공간 분석을 통한 LLM 인지 능력 규명

UniCog: Uncovering Cognitive Abilities of LLMs through Latent Mind Space Analysis

대규모 언어 모델(LLM)의 인지 과정이 인간의 인지 과정과 근본적으로 다르다는 연구 결과가 늘어나고 있습니다. 그러나 기존의 해석 가능성 방법론들은 LLM의 추론 과정에서 인지 능력이 어떻게 관여하는지 설명하는 데 한계가 있습니다. 본 논문에서는 잠재 마인드 공간(latent mind space)을 통해 LLM의 인지 작용을 분석하는 통합 프레임워크인 UniCog를 제안합니다. 잠재 변수 모델로 공식화된 UniCog는 조밀한(dense) 모델 활성화 값으로부터 다양한 능력을 희소하고(sparse) 분리된(disentangled) 잠재 차원으로 인코딩합니다. DeepSeek-V3.2와 GPT-4o를 포함한 6개의 최신 LLM에 대한 광범위한 분석을 통해, 우리는 공유된 추론 핵심이 능력별 고유 특징(signatures)에 의해 보완되는 LLM 인지의 파레토 법칙을 밝혀냈습니다. 또한, 우리는 추론 실패가 종종 잠재 활성화 값의 비정상적인 강도로 나타난다는 사실을 발견했습니다. 이러한 발견은 추론 역학에 대한 인지 기반 관점을 제공함으로써 LLM 분석의 새로운 패러다임을 엽니다. 마지막으로, 이러한 통찰력을 활용하여 우리는 잠재 정보 기반 후보 우선순위 지정 전략을 도입하였으며, 이는 까다로운 벤치마크 전반에서 추론 성능을 최대 7.5%까지 향상시킵니다. 코드는 https://github.com/milksalute/unicog 에서 확인할 수 있습니다.

A growing body of research suggests that the cognitive processes of large language models (LLMs) differ fundamentally from those of humans. However, existing interpretability methods remain limited in explaining how cognitive abilities are engaged during LLM reasoning. In this paper, we propose UniCog, a unified framework that analyzes LLM cognition via a latent mind space. Formulated as a latent variable model, UniCog encodes diverse abilities from dense model activations into sparse, disentangled latent dimensions. Through extensive analysis on six advanced LLMs, including DeepSeek-V3.2 and GPT-4o, we reveal a Pareto principle of LLM cognition, where a shared reasoning core is complemented by ability-specific signatures. Furthermore, we discover that reasoning failures often manifest as anomalous intensity in latent activations. These findings opens a new paradigm in LLM analysis, providing a cognition grounded view of reasoning dynamics. Finally, leveraging these insights, we introduce a latent-informed candidate prioritization strategy, which improves reasoning performance by up to 7.5% across challenging benchmarks. Our code is available at https://github.com/milksalute/unicog.