안전 감시병 (SAFETY SENTRY): 실행-질문-거부 라우팅을 통한 상황 인지형 인간 개입

SAFETY SENTRY: Context-Aware Human Intervention via EXECUTE-ASK-REFUSE Routing

LLM 에이전트는 도구 호출을 통해 실제 환경에서 작동하며, 단 하나의 잘못된 판단으로 인해 돌이킬 수 없는 피해를 야기할 수 있습니다. 일반적인 안전장치는 제안된 각 동작이 안전한지 위험한지를 판단하는 가드 모델이지만, 이 이분법적 관점은 두 가지 뚜렷한 결정을 혼동합니다. 즉, 해당 동작 자체가 유해한지 여부와 사용자 맥락을 고려했을 때 적절한 행동인지 여부가 함께 고려되지 않는 것입니다. 또한, 이는 개별 인스턴스가 아닌 동작 범주 수준에서 작동하여, 빈번한 중단으로 인해 자율성이 저하되고 사용자가 가장 중요한 경고를 무시하도록 훈련될 수 있습니다. 우리는 이 문제를 {실행(EXECUTE), 질문(ASK), 거부(REFUSE)}의 세 가지 옵션에 대한 개별 인스턴스 기반 라우팅 결정 문제로 재정의하고, Safety Sentry라는 가벼운 가드 모델을 통해 이를 구현했습니다. Safety Sentry는 단일 디코딩 호출만으로 추론이 가능하며, 하나의 고정된 체크포인트를 다양한 위험 허용 수준의 환경에 적용할 수 있도록 하여 재학습 없이도 유연하게 사용할 수 있습니다. Safety Sentry는 전반적인 정확도 및 안전 관련 재현율 측면에서 공개 모델 및 최첨단 폐쇄 소스 기반 모델을 능가하며, 동시에 양방향 오류율을 효과적으로 제어합니다.

LLM agents act on real-world environments through tool calls, and a single misjudged action can cause irreversible harm. The standard safeguard is a guard model that labels each proposed action as safe or unsafe, but this binary view conflates two distinct decisions: whether the action is harmful in itself, and whether it is appropriate given the user's context. It also operates at the granularity of action categories rather than individual instances, producing routine interruptions that erode autonomy and train users to wave through the most consequential alerts. We reframe the problem as a per-instance three-way routing decision over {EXECUTE, ASK, REFUSE} and instantiate it with Safety Sentry, a lightweight guard model whose inference reduces to a single decoding call. A single decoding-time threshold lets one fixed checkpoint be re-positioned across deployments of differing risk tolerance without retraining. Safety Sentry outperforms a broad set of open-weight and frontier closed-source baselines on overall accuracy and safety-related recall, while controlling both directional error rates simultaneously.