표적 지시문 쌍을 활용한 고성능 기만 탐지 프로브 구축

Building Better Deception Probes Using Targeted Instruction Pairs

선형 프로브(Linear probes)는 AI 시스템의 기만적 행동을 모니터링하기 위한 유망한 접근 방식입니다. 선행 연구에 따르면 대조적 지시문 쌍과 단순한 데이터셋으로 훈련된 선형 분류기가 우수한 성능을 달성할 수 있음이 밝혀졌습니다. 그러나 이러한 프로브는 허위 상관관계(spurious correlations)나 기만적이지 않은 반응에 대한 긍정 오류(false positives)와 같이 단순한 시나리오에서도 명백한 실패를 보입니다. 본 논문에서는 훈련 과정에 사용되는 지시문 쌍의 중요성을 규명합니다. 더 나아가, 인간이 해석 가능한 기만 분류 체계를 통해 특정 기만 행동을 표적으로 삼는 것이 평가 데이터셋에서 성능 향상으로 이어진다는 것을 보여줍니다. 연구 결과에 따르면 지시문 쌍은 특정 내용의 패턴보다는 기만적 의도를 포착하는 것으로 나타났으며, 이는 프롬프트 선택이 프로브 성능의 대부분(분산의 70.6%)을 좌우하는 이유를 설명해 줍니다. 데이터셋마다 기만 유형이 이질적이라는 점을 고려할 때, 우리는 조직이 보편적인 기만 탐지기를 찾기보다는 각자의 특정 위협 모델을 겨냥한 특화된 프로브를 설계해야 한다고 결론지었습니다.

Linear probes are a promising approach for monitoring AI systems for deceptive behaviour. Previous work has shown that a linear classifier trained on a contrastive instruction pair and a simple dataset can achieve good performance. However, these probes exhibit notable failures even in straightforward scenarios, including spurious correlations and false positives on non-deceptive responses. In this paper, we identify the importance of the instruction pair used during training. Furthermore, we show that targeting specific deceptive behaviors through a human-interpretable taxonomy of deception leads to improved results on evaluation datasets. Our findings reveal that instruction pairs capture deceptive intent rather than content-specific patterns, explaining why prompt choice dominates probe performance (70.6% of variance). Given the heterogeneity of deception types across datasets, we conclude that organizations should design specialized probes targeting their specific threat models rather than seeking a universal deception detector.