단일 의미성을 확장하다: Claude 3 Sonnet에서 해석 가능한 특징 추출

Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet

본 연구에서는 희소 오토인코더가 생산 규모의 언어 모델인 Claude 3 Sonnet으로부터 해석 가능한 특징을 추출할 수 있음을 보여주며, 이를 통해 사전 학습 방법이 소규모 트랜스포머를 넘어 얼마나 확장될 수 있는지에 대한 미해결 질문에 답하고자 합니다. 우리는 모델의 중간 레이어 잔차 스트림에서 최대 34백만 개의 특징을 사용하여 희소 오토인코더를 학습했으며, 하이퍼파라미터 선택은 스케일링 법칙을 기반으로 이루어졌습니다. 결과적으로 추출된 특징들은 다국어 및 다중 모달(텍스트 데이터로만 학습되었음에도 이미지에 적용 가능)하며, 구체적인 예시와 개념에 대한 추상적 논의 모두에 반응합니다. 또한 이러한 특징들을 활용하여 모델의 동작을 해석과 일관성 있게 제어할 수 있습니다. 우리는 유명한 개체 및 장소뿐만 아니라 풍자 또는 코드 오류와 같은 더 추상적인 개념에 해당하는 특징들도 발견했습니다. 또한, 언어 모델이 잠재적으로 해를 끼칠 수 있는 방식과 관련된 특징들 (예: 기만, 권력 추구, 아첨, 편견)을 식별했으며, 이러한 특징들이 조작될 때 모델의 출력에 인과적으로 영향을 미치는 것을 확인했습니다. 추가적으로, 특징의 해석 가능성, 기하학적 구조 및 계산 기능에 대한 분석도 수행했습니다. 그러나 여전히 중요한 한계점이 존재합니다: 추출된 특징들의 집합은 불완전하며, 우리의 특징들이 실제로 모델의 연산을 정확하게 반영하는지 평가할 수 있는 엄격한 방법이 부족합니다.

We demonstrate that sparse autoencoders can extract interpretable features from Claude 3 Sonnet, a production-scale language model, addressing the open question of whether dictionary learning methods scale beyond small transformers. We trained sparse autoencoders with up to 34 million features on the model's middle layer residual stream, using scaling laws to guide hyperparameter selection. The resulting features are multilingual and multimodal (generalizing to images despite text-only training), respond to both concrete instances and abstract discussions of concepts, and can be used to steer model behavior in ways consistent with their interpretations. We find features corresponding to famous entities and locations, as well as more abstract concepts like sarcasm or errors in code. We also identify features relevant to ways in which language models might cause harm--including features representing deception, power-seeking, sycophancy, and bias--and show that these causally influence model outputs when manipulated. Additionally, we conduct analyses of feature interpretability, geometry, and computational function. However, significant limitations remain: our suite of features is incomplete, and we lack rigorous methods for evaluating whether our features faithfully capture model computations.