AI 자기 성찰에서 직접 접근과 추론 분리하기

Dissociating Direct Access from Inference in AI Introspection

자기 성찰은 기본적인 인지 능력이지만, 그 메커니즘은 잘 알려져 있지 않습니다. 최근 연구에 따르면 AI 모델도 자기 성찰이 가능합니다. 본 연구에서는 AI 모델의 자기 성찰 메커니즘을 연구하며, 먼저 Lindsey et al. (2025)의 사고 주입 탐지 패러다임을 대규모 오픈 소스 모델에서 광범위하게 재현합니다. 연구 결과, 이러한 모델은 주입된 표현을 두 가지 분리 가능한 메커니즘을 통해 탐지합니다. (i) 확률 매칭 (프롬프트의 이상 현상을 통해 추론) 및 (ii) 내부 상태에 대한 직접 접근입니다. 직접 접근 메커니즘은 내용에 독립적입니다. 모델은 이상 현상이 발생했음을 감지하지만, 그 의미 내용을 안정적으로 식별하지는 못합니다. 연구에 참여한 두 종류의 모델은 높은 빈도로 나타나고 구체적인 개념 (예: "사과")을 잘못 생성하며, 이러한 개념을 정확하게 추론하는 데에는 상당한 수의 토큰이 필요합니다. 이러한 내용에 독립적인 자기 성찰 메커니즘은 철학 및 심리학 분야의 선도적인 이론과 일관성을 보입니다.

Introspection is a foundational cognitive ability, but its mechanism is not well understood. Recent work has shown that AI models can introspect. We study their mechanism of introspection, first extensively replicating Lindsey et al. (2025)'s thought injection detection paradigm in large open-source models. We show that these models detect injected representations via two separable mechanisms: (i) probability-matching (inferring from perceived anomaly of the prompt) and (ii) direct access to internal states. The direct access mechanism is content-agnostic: models detect that an anomaly occurred but cannot reliably identify its semantic content. The two model classes we study confabulate injected concepts that are high-frequency and concrete (e.g., "apple'"); for them correct concept guesses typically require significantly more tokens. This content-agnostic introspective mechanism is consistent with leading theories in philosophy and psychology.