PolicyShiftGuard: 정책 적응형 이미지 안전 필터링 시스템의 성능 평가 및 개선

PolicyShiftGuard: Benchmarking and Improving Policy-Adaptive Image Guardrails

이미지 안전 필터링 시스템은 일반적으로 고정된 안전 정책 하에서 학습되고 평가되며, 이는 안전을 이미지 자체의 고유한 속성으로 간주하는 것을 의미합니다. 그러나 실제 환경에서는 동일한 이미지가 하나의 제품에서는 허용되지만 다른 제품에서는 제한될 수 있으며, 정책 경계가 변경되면 새로 금지될 수도 있습니다. 본 연구는 현재 적용되는 정책에 따라 이미지가 안전 위반 여부를 판단하고, 새로운 정책 정의에도 일반화할 수 있는 정책 적응형 이미지 필터링을 다룹니다. PolicyShiftBench라는 포괄적인 벤치마크를 제안합니다. 이 벤치마크에는 265개의 이미지와 각 이미지에 대해 평균 7.55개의 정책 조건부 프롬프트가 포함되어 있으며, 모델이 이미지 수준의 안전 기준에 의존하는 것이 아니라 현재 적용되는 정책에 적응하는지 테스트합니다. 또한, PolicyShiftGuard라는 소형 정책 조건부 필터링 시스템을 제안합니다. 이 시스템은 Randomized Policy SFT (RP-SFT)와 Boundary-Pair Policy Adaptation (BP-Adapt)를 결합한 두 단계의 학습 방식을 사용합니다. BP-Adapt는 표준 레이블 지도 학습과 함께, 동일 이미지 및 위험 수준에 대한 일치된 프롬프트를 사용하여, 차단 정책과 허용 정책을 구분하는 쌍 비교 손실 함수를 적용합니다. 실험 결과, 기존의 VLM(Visual Language Model) 및 특수 필터링 시스템은 정책 변경 시 성능이 저하되는 경향이 있는 반면, PolicyShiftGuard는 정책 민감성 성능을 크게 향상시킵니다. 7B 모델은 PolicyShiftBench에서 평균 F1 점수 76.9점과 평균 PSS(Policy Shift Score) 72.1점을 달성하여 최고 수준의 성능을 보이며, UnSafeBench 및 SafeEditBench로도 잘 적용되고, 간결한 출력 형식을 통해 지연 시간과 성능 간의 균형을 개선합니다. 추가 분석 결과, 안정적인 정책 적응을 위해서는 일치된 허용/차단 경계 쌍이 필수적임을 확인했습니다.

Image guardrails are typically trained and evaluated under a fixed safety policy, implicitly treating safety as an intrinsic property of an image. Real deployments are different: the same image may be allowed in one product, restricted in another, and newly disallowed when a policy boundary changes. We study policy-adaptive image guardrailing, where a model must decide whether an image violates the currently supplied policy and generalize to held-out policy definitions. We introduce PolicyShiftBench, a comprehensive benchmark with 2,000 policy-discriminative instances over 265 images, where each image is paired with 7.55 policy-conditioned prompts on average to test whether models adapt to the active policy rather than relying on image-level safety priors. We then propose PolicyShiftGuard, a compact policy-conditioned guardrail trained with a two-stage training recipe that combines Randomized Policy SFT (RP-SFT) with Boundary-Pair Policy Adaptation (BP-Adapt). BP-Adapt trains matched prompts for the same image and risk category using standard label supervision and a pairwise comparison loss that separates blocking policies from passing policies. Experiments show that existing VLMs and specialized guardrails remain brittle under policy shifts, while PolicyShiftGuard substantially improves policy-sensitive performance. The 7B model achieves SOTA performance of 76.9 Avg. F1 and 72.1 Avg. PSS on PolicyShiftBench, transfers well to UnSafeBench and SafeEditBench, and improves the latency-performance trade-off with a concise output format. Ablations confirm that matched pass/block boundary pairs are essential for stable policy adaptation.