무엇이 방향 조절(Representation Steering)을 이끄는가? 방향 거부 현상에 대한 메커니즘적 사례 연구

What Drives Representation Steering? A Mechanistic Case Study on Steering Refusal

대규모 언어 모델(LLM)에 방향 벡터를 적용하는 것은 효율적이고 효과적인 모델 정렬 기법이지만, 이것이 어떻게 작동하는지에 대한 해석 가능한 설명이 부족합니다. 특히, 방향 벡터가 어떤 내부 메커니즘에 영향을 미치고, 이것이 어떻게 다양한 모델 출력을 야기하는지 알 수 없습니다. 방향 벡터의 효과성에 대한 인과적 메커니즘을 조사하기 위해, 우리는 방향 거부 현상에 대한 포괄적인 사례 연구를 수행했습니다. 우리는 다중 토큰 활성화 패치 프레임워크를 제안하고, 동일한 레이어에 적용될 때 서로 기능적으로 교환 가능한 회로를 활용하는 다양한 방향 조절 방법론을 발견했습니다. 이러한 회로는 방향 벡터가 주로 OV 회로를 통해 어텐션 메커니즘과 상호 작용하고, QK 회로는 대부분 무시한다는 것을 보여줍니다. 어텐션 점수를 모두 고정하면 두 모델 패밀리 모두에서 성능이 8.75% 정도 감소합니다. 조절된 OV 회로의 수학적 분해를 통해, 방향 벡터 자체가 없는 경우에도 의미적으로 해석 가능한 개념을 확인할 수 있습니다. 활성화 패치 결과를 활용하여, 방향 벡터를 최대 90-99%까지 희소화하면서 대부분의 성능을 유지할 수 있으며, 다양한 방향 조절 방법론이 중요한 부분에서 일치한다는 것을 보여줍니다.

Applying steering vectors to large language models (LLMs) is an efficient and effective model alignment technique, but we lack an interpretable explanation for how it works-- specifically, what internal mechanisms steering vectors affect and how this results in different model outputs. To investigate the causal mechanisms underlying the effectiveness of steering vectors, we conduct a comprehensive case study on refusal. We propose a multi-token activation patching framework and discover that different steering methodologies leverage functionally interchangeable circuits when applied at the same layer. These circuits reveal that steering vectors primarily interact with the attention mechanism through the OV circuit while largely ignoring the QK circuit-- freezing all attention scores during steering drops performance by only 8.75% across two model families. A mathematical decomposition of the steered OV circuit further reveals semantically interpretable concepts, even in cases where the steering vector itself does not. Leveraging the activation patching results, we show that steering vectors can be sparsified by up to 90-99% while retaining most performance, and that different steering methodologies agree on a subset of important dimensions.