ICA 렌즈: 또 다른 어휘 사전을 학습하지 않고 언어 모델 해석하기

ICA Lens: Interpreting Language Models Without Training Another Dictionary

언어 모델 표현에서 해석 가능한 방향을 찾는 것은 모델의 동작을 이해하고 제어하는 데 매우 중요합니다. 희소 오토인코더(SAE)는 이러한 목적으로 가장 일반적으로 사용되는 도구이지만, 이를 기본 분석 도구로 사용하는 경우 종종 크고 완전한 어휘 사전(dictionary)을 학습하고 저장하며 평가해야 합니다. 이러한 병목 현상은 빠른 탐색을 제한하며 다음과 같은 근본적인 질문을 제기합니다. 즉, 다른 신경망 사전을 학습하기 전에 활성화 기하학에서 이미 얼마나 많은 해석 가능한 구조가 보이는가? 우리의 직관은 간단합니다. 많은 해석 가능한 방향이 토큰에 대해 선택적이며, 이러한 방향은 임의의 방향보다 덜 가우스 분포를 나타해야 합니다. 따라서 우리는 독립 성분 분석(ICA)이라는 고전적인 비-가우스 방향 탐색 방법을 언어 모델 해석을 위한 간결한 도구로 재검토합니다. ICA는 LLM(Large Language Model) 해석에 있어 과소평가되어 왔습니다. 이전의 ICA 사용은 종종 LLM 활성화에 취약하고, 회수된 방향을 검사하고 평가하기 위한 체계적인 도구가 부족한 상용 ICA 구현에 의존했습니다. 이러한 격차를 해소하기 위해, 우리는 안정적이고 효율적이며 감사 가능한 LLM 표현의 ICA 분석을 위한 첫 번째 실용적인 워크플로우인 ICALens를 소개합니다. ICALens는 최적화된 GPU 병렬 FastICA 파이프라인과 LLM에 특화된 안정성 기술 및 더 나은 적합성 진단 기능을 결합하여 효율적이고 신뢰할 수 있는 레이어별 분석을 가능하게 합니다. GPT-2 Small, Gemma 2 2B, Qwen 3.5 2B Base 모델에서 ICALens는 각 레이어에 대한 그래디언트 기반 사전 학습 없이도 간결하고 사람이 이해하기 쉬운 방향을 효율적으로 복원합니다. SAEBench 데이터셋에서 ICA는 희소 탐색 측면에서 공개된 SAE와 경쟁력을 보이며, 제한된 예산 내에서 특정 프로브 교란(probe perturbation) 성능에서는 더 우수한 결과를 보여줍니다. 이러한 결과는 ICA를 약한 기준선으로 보는 것이 아니라, 언어 모델 표현을 탐색하기 위한 효율적이고 상호 보완적인 첫 번째 분석 도구로 간주해야 함을 시사합니다.

Finding interpretable directions in language-model representations is critical for understanding and controlling model behavior. Sparse autoencoders (SAEs) have become the standard tool for this purpose, but using them as the default first lens often requires training, storing, and evaluating large overcomplete dictionaries. This bottleneck limits rapid exploration and raises a fundamental question: how much interpretable structure is already visible from activation geometry before training another neural dictionary? Our intuition is simple: many interpretable directions are selective on tokens, and these directions should look less Gaussian than random directions. We therefore revisit independent component analysis (ICA), a classical method for finding non-Gaussian directions, as a compact lens for language-model interpretability. We find that ICA has been underestimated for LLM interpretability, because prior uses often relied on off-the-shelf ICA implementations that are brittle on LLM activations and lacked systematic tools for inspecting and evaluating the recovered directions. To bridge these gaps, we introduce ICALens, the first practical workflow for stable, efficient, and auditable ICA analysis of LLM representations. It combines an optimized GPU-parallel FastICA pipeline with LLM-specific stability recipes and better fitting diagnostics, enabling efficient and reliable layer-wise analysis. Across GPT-2 Small, Gemma 2 2B, and Qwen 3.5 2B Base, ICALens efficiently recovers compact, human-interpretable directions without per-layer gradient-based dictionary training. On SAEBench, ICA is competitive with public SAEs in sparse probing and outperforms them in targeted probe perturbation under small-to-medium budgets. These results suggest that ICA should not be viewed as a weak baseline, but as an efficient and complementary first lens for exploring language-model representations.