추론 LLM에서 숨겨진 기만 행위를 파악하는 방법: 기만 감사용 활성화 설명기

Decoding Hidden Deception in Reasoning LLMs: Activation Explainers for Deception Auditing

LLM이 더욱 강력한 추론 능력을 갖게 되면서, 기만적인 행동은 점점 더 심각한 안전 문제로 부상하고 있습니다. 기존의 기만 감시 시스템은 주로 보이는 텍스트 기록을 평가하거나 표현 벡터로부터 스칼라 기반 점수를 도출하지만, 응답이 의심스러운 이유에 대한 검증 가능한 증거를 제공하기에는 부족합니다. 본 논문에서는 기만 감사용 활성화 설명기인 STATEWITNESS를 소개합니다. STATEWITNESS는 별도의 디코더를 사용하여 대상 모델의 숨겨진 상태를 읽고, 자연어 질의에 답변하거나 구조화된 보고서를 생성합니다. 우리는 STATEWITNESS를 두 개의 대상 추론 LLM과 7개의 기만 데이터 세트에 대해 평가했습니다. 그 결과, STATEWITNESS는 동일한 평가 프로토콜 하에서 최적의 블랙박스 텍스트 감시 시스템보다 11.6% 높고, 최적의 활성화 기반 기준 모델보다 25.0% 높은 평균 AUROC인 0.916을 달성했습니다. 또한, STATEWITNESS는 기존 감시 시스템과 결합되었을 때 간단한 임계값 조합에서 누락되는 기만적인 예제를 줄이는 데 도움이 됩니다. 스칼라 기반 탐지뿐만 아니라, 디코더는 질의 수준 답변, 스키마 보고서 및 토큰 또는 문장 단위 증거 추적 정보를 제공하여 인간이 직접 검토할 수 있도록 합니다. 우리는 이러한 인터페이스가 더 광범위한 해석 가능성 및 정렬 도구 개발을 위한 잠재적인 구성 요소가 될 수 있다고 생각합니다.

As LLMs acquire stronger reasoning capabilities, deceptive behavior becomes an increasingly serious safety concern. Existing deception monitors either score visible transcripts or derive scalar probe scores from representation vectors, leaving little inspectable evidence about why a response is suspicious. We introduce STATEWITNESS, an activation explainer for deception auditing. A separate decoder reads a target model's hidden states, then answers natural-language queries or emits structured reports about them. We evaluate STATEWITNESS on two target reasoning LLMs across seven deception datasets. STATEWITNESS reaches 0.916 mean AUROC, a relative gain of 11.6% over the best black-box text monitor and 25.0% over the best activation-probe baseline under the same evaluation protocol. When combined with existing monitors, STATEWITNESS reduces missed deceptive examples in simple threshold ensembles. Beyond scalar detection, the decoder returns query-level answers, schema reports, and token- or sentence-level evidence traces for human inspection. We view this interface as a potential building block for broader interpretability and alignment tools.