조건부 공동 제거 (Conditional Co-Ablation): 트랜스포머 회로에서 자기 복구 백업을 활용하는 방법

Conditional Co-Ablation: Recovering Self-Repair Backups in Transformer Circuits

기계적 해석은 종종 모델이 특정 행동을 생성하는 방식을 파악하기 위해 구성 요소 수준의 개입에 의존합니다. 이는 속성 분석, 기능 제거 및 모델 가지치기와 같은 후속 작업에 사용되며, 각 단위를 독립적으로 제거했을 때 나타나는 효과를 기준으로 점수를 매깁니다. 이러한 1차 점수 방식은 구성 요소의 중요도가 가산적일 때는 유용하지만, 트랜스포머가 자체 복구를 수행하는 경우에는 오해의 소지가 있습니다. 주요 구성 요소가 제거된 후, 비활성 상태였던 백업이 작동하여 주요 구성 요소의 측정된 효과를 감소시키면서 동시에 백업 자체가 정상 모델에서는 중요하지 않은 것처럼 보이게 됩니다. 우리는 이러한 문제를 '복구' 작업으로 재정의하고, 조건부 회로 완성(Conditional Circuit Completion)이라는 개념을 도입하며, Conditional Co-Ablation (CoAx)라는 새로운 방법을 제안합니다. CoAx는 레이블이 필요 없는, 출력 기반의 점수 방식으로, 주요 구성 요소 집합이 제거된 후 각 남은 단위의 제거 효과가 얼마나 증가하는지를 측정합니다. 이러한 조건부 증가는 단일 단위 점수가 무시하는 2차 상호 작용을 드러냅니다. GPT-2-small IOI 회로에서 CoAx는 백업 헤드의 복구율을 0.33에서 0.91의 ROC-AUC 값으로 향상시켜 모든 기준 모델보다 뛰어난 성능을 보입니다. (가장 높은 기준 모델은 0.82). 반사실적 패칭(counterfactual patching) 검증 결과, 복구된 헤드가 실제로 복구 과정에 인과적으로 관여한다는 것을 확인했습니다. 동일한 레이블이 필요 없는 절차는 여덟 개의 다른 모델에서도 적용 가능합니다. CoAx를 통해 발견된 백업은 자체 복구로 인해 가려졌던 속성 분석을 수정하고, 기능 제거에 필요한 구성 요소를 식별하며, 124M에서 7B까지의 크기에 대한 복구 인지 구조화된 가지치기를 수행하는 데 활용될 수 있습니다. 따라서 구성 요소의 중요성은 단순히 개별 단위의 특성이 아니라, 강력한 회로에서는 중요한 구성 요소가 특정 조건 하에서만 그 존재를 드러낼 수 있습니다.

Mechanistic interpretability often relies on component-level interventions to discover how a model produces a behavior. This guides attribution, capability knockout, and model pruning downstream to operate by scoring each unit by the effect of ablation in isolation. Such first-order scoring is natural when component importance is additive, but becomes misleading when a transformer self-repairs: after a primary component is removed, a dormant backup can take over, muting the primary's measured effect while the backup itself appears irrelevant on the intact model. We recast this failure as a recovery task, conditional circuit completion, and introduce Conditional Co-Ablation (CoAx), a label-free, output-grounded score that asks how much each remaining unit's ablation effect grows once a primary set has been removed. This conditional growth exposes the second-order interaction that single-unit scores discard. On the GPT-2-small IOI circuit, CoAx raises backup-head recovery from 0.33 to 0.91 ROC-AUC, outperforming all baselines, including self-repair-aware gradient scores (best 0.82); counterfactual patching verifies that the recovered heads causally carry the repair. The same label-free procedure transfers to induction across eight models. Beyond discovery, the recovered backups correct self-repair-masked attribution, identify the components required for capability knockout, and yield repair-aware structured pruning scaling from 124M to 7B. Component importance is therefore not merely an isolated-unit property: in robust circuits, the components that matter can become visible only under the interventions that make them necessary.