DT-Guard: 의도 기반 추론-활성 학습을 통한 추론 없는 LLM 안전 장벽

DT-Guard: Intent-Driven Reasoning-Active Training for Reasoning-Free LLM Safety Guardrail

실제 환경에 배포되는 거대 언어 모델(LLM)은 복잡한 위험에 대한 강력성을 가지면서 동시에 빠른 응답 속도를 유지할 수 있는 안전 장벽이 필요합니다. 기존의 안전 장벽들은 경량 분류 기반 모델과 추론 기반 모델 간의 효율성과 판단 정확성 사이에서 균형을 맞추는 데 어려움을 겪습니다. 분류 기반 모델은 효율적이지만 숨겨진 의도, 모호한 의미, 그리고 애매한 안전 결정에 취약하며, 추론 기반 모델은 판단 품질을 향상시키지만 추가적인 토큰 생성 및 추론 지연 시간을 발생시킵니다. 본 논문에서는 추론-활성 학습(Reasoning-Active Training)과 추론 없는 추론(Reasoning-Free Inference) 패러다임을 기반으로 하는 콘텐츠 안전 장벽 모델인 DT-Guard를 제안합니다. 핵심 아이디어는 훈련 과정에서 추론을 활용하되, 추론 시에는 구조화된 안전 레이블만 출력하여 효율성을 유지하는 것입니다. DT-Guard는 안전 판단을 '의도 - 범주 - 안전'이라는 점진적인 의사 결정 프로세스로 정의하고, 의도 레이블, 위험 범주, 안전 레이블 및 구조화된 추론 경로를 포함하는 의도 기반 데이터셋을 구축합니다. 또한, 어려운 사례에 대한 강건성을 더욱 향상시키기 위해, 멀티-롤아웃 일관성을 활용하여 안정적으로 학습된 샘플, 지속적으로 실패하는 샘플, 그리고 선호도가 불안정한 샘플을 식별하고, 이에 따라 맞춤형 감독 및 선호도 최적화를 적용하는 Rollout-Guided Progressive Hard-Case Optimization (RG-PHO) 방법을 제안합니다. 추론 시에는 DT-Guard가 명시적인 추론 과정을 거치지 않고 직접 구조화된 레이블을 생성하여 배포 효율성을 유지합니다. 프롬프트 측면과 응답 측면의 안전성 벤치마크 실험 결과, DT-Guard는 각각 평균 F1 점수 0.886과 0.870을 달성했습니다. 단 4B 모델로도 양측 평균 F1 점수 0.878을 기록하여 강력한 8B 모델 기반의 기존 안전 장벽보다 우수한 성능을 보였습니다. 이러한 결과는 추론적인 감독 학습이 낮은 지연 시간으로 안전성을 효과적으로 구분하는 데 활용될 수 있음을 보여줍니다.

Large language models deployed in open-world applications require safety guardrails that are both robust to complex risks and efficient enough for low-latency runtime moderation. Existing guardrails face a practical trade-off between lightweight classification-based models, which are efficient but often struggle with concealed intent, ambiguous semantics, and borderline safety decisions, and reasoning-based guards, which improve judgment quality but introduce additional token generation and inference latency. We present DT-Guard, a content safety guardrail model based on a Reasoning-Active Training, Reasoning-Free Inference paradigm. The key idea is to use reasoning supervision during training while emitting only structured safety labels at inference time. DT-Guard formulates safety judgment as a progressive decision process, Intent - Category - Safety, and constructs an intent-driven dataset with intent labels, risk categories, safety labels, and structured reasoning trajectories. To further improve hard-case robustness, we propose Rollout-Guided Progressive Hard-Case Optimization (RG-PHO), which uses multi-rollout consistency to identify stably mastered, persistently failed, and preference-unstable samples, and applies targeted supervised and preference optimization accordingly. At inference time, DT-Guard directly generates structured labels without explicit reasoning traces, preserving deployment efficiency. Experiments on prompt-side and response-side safety benchmarks show that DT-Guard achieves average F1 scores of 0.886 and 0.870, respectively. With only a 4B backbone, it reaches a dual-side average F1 of 0.878, outperforming strong 8B guardrail baselines. These results demonstrate that reasoning supervision can be effectively internalized into low-latency safety discrimination.