블랙박스 악성 행위 탐지를 위한 숙고형 감시 시스템 학습

Training Deliberative Monitors for Black-Box Scheming Detection

자율 에이전트가 실제 세계의 작업을 수행하는 능력이 향상됨에 따라, 악의적인 행동과 정상적인 작업 추구 사이를 구별하는 것은 중요한 AI 제어 문제가 될 수 있습니다. 기존 감시 시스템은 종종 사후 설명 방식 접근 또는 내부 활성화 정보에 의존하거나, 프롬프트 기반 최첨단 모델을 사용하는데, 이러한 방법들은 배포 시 사용할 수 없거나 신뢰성이 떨어지며 비용이 많이 들 수 있습니다. 본 연구에서는 에이전트의 추론 과정이나 모델 내부 정보를 참조하지 않고, 에이전트의 행동만을 사용하여 악성 행위 및 파괴적인 행동을 탐지하도록 학습된 작은 오픈 웨이트 모델인 숙고형 감시 시스템을 개발합니다. 우리의 방법은 숙고적 정렬(deliberative alignment)에서 영감을 받아, 최첨단 모델을 활용하여 구조화된 근거를 추출하고, 별도의 평가 모델을 사용하여 필터링한 후, 지도 학습 및 강화 학습을 통해 이러한 고품질 근거들을 오픈 웨이트 감시 시스템으로 증류합니다. 우리는 5개의 데이터 세트를 사용하여 학습을 진행하고, 6가지 이상 분포 에이전트 비정렬 벤치마크를 통해 성능을 평가했습니다. Qwen3.5-27B에 우리의 방법을 적용한 결과, 프롬프트 기반 최첨단 모델(Gemini 3.1 Flash-Lite, GPT-5.4 Nano, Claude Haiku 4.5) 및 Gemini 2.5 Pro보다 더 높은 성능을 보였으며, 동시에 추론 비용도 저렴했습니다(평가당 1,000 토큰 기준). 더욱 강력한 프롬프트 기반 최첨단 모델(Gemini 3.1 Pro, GPT-5.4, Claude Sonnet 4.6, Claude Opus 4.6)은 더 높은 성능을 달성했지만, 추론 비용이 약 16~34배 더 높았습니다. 우리의 학습된 감시 시스템 중 일부는 우리가 평가한 감시 시스템 중에서 실질적인 비용-성능 파레토 최적점에 위치하며, 프롬프트 기반 최첨단 모델에 대한 저렴하고 오탐률이 낮은 대안을 제공합니다.

As autonomous agents become more capable of performing real-world tasks, distinguishing scheming behavior from benign task pursuit may become a central AI control problem. Existing monitors often rely on chain-of-thought access or internal activations, or use prompted frontier models, all of which can be unavailable, unreliable or expensive in deployment. In this work, we study action-only deliberative monitors: smaller open-weight models trained to detect scheming and sabotage from agentic trajectories without accessing the monitored agent's reasoning or model internals. Our method, inspired by deliberative alignment, uses a scheming specification to elicit structured rationales from a frontier teacher, filters them with a separate judge, and distills the highest-quality rationales into open-weight monitors with supervised fine-tuning and reinforcement learning. We train on five datasets, and evaluate across six out-of-distribution agentic misalignment benchmarks. We show that applying our method to Qwen3.5-27B yields higher performance than all low-cost frontier models as prompted monitors (Gemini 3.1 Flash-Lite, GPT-5.4 Nano, and Claude Haiku 4.5) and than Gemini 2.5 Pro, while also achieving lower marginal inference cost (token-metered USD per 1,000 evaluations). Stronger prompted frontier monitors (Gemini 3.1 Pro, GPT-5.4, Claude Sonnet 4.6, and Claude Opus 4.6) achieve higher performance but at roughly $16$--$34\times$ higher marginal inference cost. Several of our trained monitors are positioned on the empirical cost--performance Pareto frontier among the monitors we evaluate, providing practical low-cost, low-FPR alternatives to prompted frontier models.