카스케이드된 희소 오토인코더: 다중 모드 대규모 언어 모델에서 다층 시각적 개념 학습

Cascaded Sparse Autoencoders Learn Multi-Level Visual Concepts in Multimodal LLMs

다중 모드 대규모 언어 모델(MLLM)은 비전-언어 작업에서 뛰어난 성능을 보이지만, 내부적인 시각적 표현은 여전히 해석하기 어렵습니다. 희소 오토인코더(SAE)는 밀집된 모델 활성화를 확장 가능하게 분해하여 해석 가능한 특징으로 만들 수 있는 방법입니다. 그러나 기존의 SAE 아키텍처는 주로 평탄한 특징 사전을 복원하며, 명시적인 다층 개념 조직에는 적합하지 않습니다. 본 논문에서는 MLLM에서 계층적 시각적 개념을 학습하기 위한 카스케이드된 희소 오토인코더(CSAE)를 소개합니다. CSAE는 SAE의 희소 활성화 코드를 중첩하거나 쌓는 대신, 첫 번째 수준 SAE의 디코더 가중치에 두 번째 수준의 SAE를 직접 훈련시켜, 학습된 저수준 특징 방향을 상위 수준 추상화를 위한 입력으로 사용합니다. 이러한 설계는 CSAE가

Multimodal Large Language Models (MLLMs) have demonstrated strong performance on vision-language tasks, yet their internal visual representations remain difficult to interpret. Sparse Autoencoders (SAEs) provide a scalable way to decompose dense model activations into sparse, interpretable features. However, existing SAE architectures primarily recover flat feature dictionaries and are less suited for explicit multi-level concept organization. In this paper, we introduce cascaded sparse autoencoders (CSAEs) for learning hierarchical visual concepts in MLLMs. Rather than nesting or stacking SAE sparse activation codes, CSAEs train a second-level SAE directly on the decoder weights of the first-level SAE, treating learned low-level feature directions as inputs for higher-level abstraction. This design enables CSAEs to learn "concepts of concepts" while avoiding drawbacks from the shared-prefix coupling of nesting, Matryoshka-style hierarchies and the bottlenecks of naively stacked SAEs. Experiments across Qwen3-VL, Gemma-3, and LLaVA on multiple visual datasets show that CSAEs improve interpretability in terms of hierarchical concept coherence over state-of-the-art SAE baselines. Results on concept steering further demonstrate that the learned concept groups support effective group-level interventions in MLLM outputs.