언어 모델 내부 해석을 위한 신뢰성 있는 활성화 오라클의 신뢰도 및 정확도

Confidence and Calibration of Activation Oracles for Reliable Interpretation of Language Model Internals

활성화 오라클은 다른 모델의 작동 방식을 인간이 이해하기 쉽게 만들고, 기존의 블랙박스 해석 기법에 비해 유망한 결과를 보여줍니다. 그러나 이러한 활성화 오라클의 자연어 출력에 대한 불확실성 정량화(UQ)은 아직 충분히 연구되지 않았습니다. 본 논문에서는 활성화 오라클의 신뢰도를 추정하는 6가지 방법을 조사하고, 각 방법이 얼마나 정확하게 신뢰도 점수를 제공하는지 평가합니다. 다양한 언어 모델(Qwen3-8B 및 Qwen3.6-27B)을 사용하여 총 6,000개의 샘플에 대한 실험 결과, 부트스트랩 모드 빈도가 테스트된 방법 중 가장 정확한 신뢰도 추정 방법을 제공하는 것으로 나타났습니다 (ECE: 5.7% vs. 25.5%, Qwen3-8B의 정답 단어 로그 확률 기준; 10.3% vs. 13.1%, Qwen3.6-27B 기준). 또한, 간단한 로그 확률 기반 방법이 훨씬 적은 비용으로 초기 신뢰도 판단에 유용한 지표로 활용될 수 있음을 확인했습니다. 관련 코드 및 수정된 학습기는 다음 GitHub 저장소에서 확인할 수 있습니다: https://github.com/federicotorrielli/probabilistic_activation_oracles.

Activation oracles aim to make the activations of other models legible to humans and yield promising results compared to white-box interpretability techniques. However, uncertainty quantification (UQ) for the natural-language outputs of such activation oracles is so far understudied. Here, we investigate 6 different methods for estimating the confidence of activation oracles and evaluate how well-calibrated their confidence scores are. Our experiments on 6,000 samples per oracle (varying verbalizer and context prompts) reveal that bootstrap mode frequency is the best-calibrated method among those tested (ECE 5.7% vs. 25.5% for the answer-word log-probability on Qwen3-8B; 10.3% vs. 13.1% on Qwen3.6-27B), and that the log-prob baseline can serve as a fast triage signal at a fraction of the cost. Code and the patched trainer are available at https://github.com/federicotorrielli/probabilistic_activation_oracles.