LLM 추론에 대한 통합적이고 아키텍처 간 해석

Integrated and Cross-Architecture Interpretation of LLM Reasoning

LLM의 추론 방식을 이해하는 데는 실질적인 비대칭성이 존재합니다. LLM이 생성하는 출력은 관찰 가능하지만, 그 기반이 되는 추론 패턴은 여전히 불투명합니다. 상호 정보 피크(MIP) 또는 심층 사고 비율(DTR)과 같은 단일 탐침 기술에 의존하면 실제 추론 구조를 과소평가할 위험이 있습니다. 이러한 한계를 극복하기 위해, LLM 추론 해석을 위한 통합적인 접근 방식을 제공하도록 설계된 통합 아키텍처 간 추론(IAR) 프레임워크를 제시합니다. 구체적으로, 먼저 출력 계층에서 중요한 추론 관련 토큰을 식별하기 위해 대역폭 보정 MIP와 튜키 IQR 피크 탐지 기술을 결합하여 사용합니다. 둘째, MIP로 선택된 토큰과 DTR으로 식별된 심층 토큰 간의 중복 분석을 수행하여 해당 토큰이 여러 계층에서 어떻게 이동하는지 추적합니다. 이를 통해 중요한 추론 관련 토큰이 계산 집약적인지 여부를 파악할 수 있으며, 이는 추론 패턴이 모델 계층 전반에 걸쳐 어떻게 진화하는지 이해하는 데 도움이 됩니다. 마지막으로, 다중 도메인 문제에 대한 자카드 안정성 지표를 사용하여 MIP로 식별된 토큰이 추론 품질을 보장하는지를 검증합니다. Qwen-7B, Qwen-14B 및 Llama-8B 모델 세 개와 수학, 코딩, 논리, 상식의 네 가지 도메인에 대한 광범위한 실험 결과는 IAR이 다양한 아키텍처에서 일반적인 해석 능력을 갖추고 있음을 보여줍니다.

Understanding how LLMs reason is hindered by a practical asymmetry: while their generated outputs are observable, the underlying reasoning patterns remain opaque. Relying on single probes, such as Mutual Information Peak (MIP) or Deep-Thinking Ratio (DTR), risks underestimating the genuine inferential structure. To response this deficiency, we present an Integrated, cross-Architecture Reasoning (IAR) framework, designed to provide a unified approach to LLM reasoning interpretability. Specifically, we first propose to use bandwidth-calibrated MIP coupled with Tukey IQR peak-detection to isolate reasoning-crucial tokens at the output layer. Second, we performed an overlap analysis between MIP-picked tokens and DTR-deep tokens to trace the cross-layer trajectories of those tokens. This also discloses whether reasoning-crucial tokens are computation-intensive as well, further facilitating to understand how reasoning patterns evolve across model layers. Finally, we apply a Jaccard stability metric over multi-domain problems to verify if the MIP-identified tokens are reasoning quality-guaranteed. Extensive experiments on three models (Qwen-7B, Qwen-14B, and Llama-8B) across four domains (mathematics, code, logic, and common sense) demonstrate IAR's generalizable interpretation capabilities across architectures.