C²R: 교차 샘플 일관성 정규화를 통한 희소 오토인코더의 특징 분산 및 흡수 완화

C$^{2}$R: Cross-sample Consistency Regularization Mitigates Feature Splitting and Absorption in Sparse Autoencoders

희소 오토인코더(SAE)는 활성화 값을 희소하고 사람이 이해하기 쉬운 특징으로 분해하여 대규모 언어 모델을 해석하는 데 널리 사용되지만, 큰 어휘 집합으로 확장할 때 근본적인 문제가 발생합니다. 체계적인 연구 결과, 일관성 없는 특징 분산 현상이 명확한 개념을 원자적이지 않은 잠재 변수로 나누고, 광범위한 특징 흡수 현상이 일반적인 특징에 임의의 예외를 생성하여 잠재 변수의 신뢰성을 심각하게 저해하는 것으로 나타났습니다. 이러한 문제는 샘플 간의 일관성 없는 잠재 변수 할당에서 비롯됩니다. 교차 샘플 제약 조건이 없으면, 각 샘플별 최적화는 종종 하나의 기본 개념이 여러 개의 중복되거나 상호 간섭적인 잠재 변수에 불일치하게 분산되는 현상을 발생시킵니다. 이러한 문제를 해결하기 위해, 본 연구에서는 C²R (Cross-sample Consistency Regularization)을 제안합니다. C²R은 방향성이 유사한 잠재 변수의 공동 활성화를 페널티로 부과하여, 각 의미적 특징이 배치 내에서 통일된 잠재 변수로 일관되게 표현되도록 명시적으로 장려합니다. 종합적인 평가 결과, C²R은 분산 및 흡수 현상을 효과적으로 완화하는 동시에, 중요한 점은 재구성 정확도를 유지하며, 모델 성능을 저하시키지 않으면서 잠재 변수의 해석 가능성을 향상시키는 원칙적인 해결책을 제공합니다. 소스 코드는 https://github.com/hr-jin/Cross-sample-Consistency-Regularization 에서 확인할 수 있습니다.

Sparse Autoencoders (SAEs) are widely used to interpret large language models by decomposing activations into sparse, human-understandable features, but scaling to large dictionaries exposes fundamental challenges. Systematic studies reveal pervasive feature splitting that fragments coherent concepts into non-atomic latents and widespread feature absorption that creates arbitrary exceptions in general features, severely compromising latent reliability. These issues stem from inconsistent latent assignment across samples: without cross-sample constraints, per-sample optimization often allows a single underlying concept to be inconsistently distributed across multiple redundant or interfering latents. To address this, we introduce C$^2$R (\underline{\textbf{C}}ross-sample \underline{\textbf{C}}onsistency \underline{\textbf{R}}egularization). C$^2$R explicitly encourages that each semantic feature is consistently represented by a unified latent across the batch by penalizing the co-activation of directionally similar latents. Comprehensive evaluation demonstrates that C$^2$R effectively mitigates both splitting and absorption while, crucially, preserving reconstruction fidelity, providing a principled solution that enhances latent interpretability without degrading model performance. Source code is available at https://github.com/hr-jin/Cross-sample-Consistency-Regularization.