좋은 사과를 분류하기: 원인 추상화를 진단하고 개선하는 방법

Bucketing the Good Apples: A Method for Diagnosing and Improving Causal Abstraction

본 논문에서는 신경망의 해석을 진단하기 위한 방법을 제시합니다. 이 방법은 특정 입력 공간에서 제안된 해석이 얼마나 정확한지를 파악하여 적용됩니다. 특히, 본 방법은 인과 추상화 스타일의 해석 가능성 연구에 유용합니다. 여기서, 상호 교환 개입(interchange intervention)을 통해 고차원적인 인과 가설을 평가합니다. 기존의 접근 방식이 상호 교환 개입의 정확도를 하나의 전반적인 지표로 간주하는 반면, 본 논문에서는 입력 공간을 잘 해석되는 영역과 해석이 부족한 영역으로 나누어 이 프레임워크를 개선합니다. 이를 통해 인과 추상화는 순수한 전역적 평가에서 벗어나 더 진단적인 도구가 됩니다. 즉, 해석이 작동하는지 여부를 측정하는 것뿐만 아니라, 어디에서 작동하고 어디에서 실패하는지, 그리고 두 경우를 구분하는 요인이 무엇인지도 밝혀냅니다. 이러한 진단적 관점은 해석을 개선하기 위한 실질적인 지침을 제공합니다. 잘 해석되는 영역과 해석이 부족한 영역의 구조를 분석함으로써, 고차원적 가설에서 누락된 부분을 식별하고, 이전에 모델링되지 않았던 중간 변수를 발견하며, 상호 보완적인 부분 해석을 결합하여 더 강력한 해석을 구축할 수 있습니다. 우리는 이러한 아이디어를 간단한 4단계 레시피로 구현하고, 다양한 인과 추상화 환경에서 유용한 오류 분석 결과를 얻을 수 있음을 보여줍니다. 간단한 논리 추론 작업에서, 레시피를 반복적으로 적용하여 처음부터 고차원적 가설을 재구성할 수 있습니다. 더 넓은 관점에서, 본 연구 결과는 입력 공간을 분할하는 것이 보다 정확하고, 건설적이며, 확장 가능한 메커니즘적 해석 가능성을 향한 유용한 단계임을 시사합니다.

We present a method for diagnosing interpretation in neural networks by identifying an input subspace where a proposed interpretation is highly faithful. Our method is particularly useful for causal-abstraction-style interpretability, where a high-level causal hypothesis is evaluated by interchange interventions. Rather than treating interchange intervention accuracy as a single global summary, we refine this framework by partitioning the input space into well-interpreted and under-interpreted regions according to pairwise interchange-intervention behavior. This turns causal abstraction from a purely global evaluation into a more diagnostic tool: it not only measures whether an interpretation works, but also reveals where it works, where it fails, and what distinguishes the two cases. This diagnostic view also provides practical heuristics for improving interpretations. By analyzing the structure of the well-interpreted and under-interpreted regions, we can identify missing distinctions in a high-level hypothesis, discover previously unmodeled intermediate variables, and combine complementary partial interpretations into a stronger one. We instantiate this idea as a simple four-step recipe and show that it yields informative error analyses across multiple causal abstraction settings. In a toy logic task, recursively applying the recipe recovers a high-level hypothesis from scratch. More broadly, our results suggest that partitioning the input space is a useful step toward more precise, constructive, and scalable mechanistic interpretability.