DreamGuard: 위험 인지 세계 모델 기반의 LLM 에이전트를 위한 효율적인 런타임 가드레일

DreamGuard: Efficient Runtime Guardrail for LLM Agents via Risk-Aware World Model

대규모 언어 모델(LLM) 에이전트가 외부 도구를 점점 더 많이 사용하고 실제 시스템과 상호 작용함에 따라, 안전하지 않은 동작은 외부 상태, 사용자 데이터 및 하위 서비스에 돌이킬 수 없는 결과를 초래할 수 있습니다. 최근의 런타임 가드레일은 실행 전에 제안된 동작을 검사하여 이러한 위험을 완화하지만, 많은 방법들이 여전히 반응적입니다. 즉, 현재 동작의 안전성을 주로 평가하며, 위험이 경로 전체에서 어떻게 변화하는지에 대한 명시적인 모델이 부족합니다. 이러한 제한 사항은 장기적인 위험에 대한 중요한 맹점을 야기하며, 개별적으로는 양호해 보이는 동작이라도 에이전트를 점진적으로 위험한 상태로 이동시킬 수 있습니다. 이에 대응하여, 우리는 위험 인지 세계 모델을 기반으로 하는 LLM 에이전트를 위한 선제적 가드레일인 DreamGuard를 제안합니다. 이 세계 모델은 경로 전체에 걸쳐 간결한 순환 잠재 상태를 유지하며, DreamGuard는 이로부터 미래의 잠재 상태를 예측하여 즉각적인 위험 및 접두사 위험 정보를 얻습니다. 그런 다음 DreamGuard는 이러한 다중 시간 지평의 신호를 융합하여 실행 전에 개입 결정을 내립니다. 네 가지 벤치마크와 온라인 가드레일 평가를 통한 실험 결과, DreamGuard는 일반적인 반응적 및 선제적 가드레일 기준보다 성능이 우수하며, 평가된 가드레일 중에서 가장 좋은 안전성-유용성 균형을 달성하고, 평균적으로 호출당 25ms의 낮은 엔드투엔드 지연 시간을 유지합니다.

As large language model (LLM) agents increasingly invoke external tools and interact with real-world systems, unsafe actions may cause irreversible consequences on external states, user data, and downstream services. Recent runtime guardrails mitigate such risks by checking proposed actions before execution, but many remain reactive: they primarily assess the apparent safety of the current action, lacking an explicit model of how risk evolves across the trajectory. This limitation creates a critical blind spot for long-horizon risks, where individually benign-looking actions can gradually drift the agent toward hazardous states. In response, we propose DreamGuard, a proactive guardrail for LLM agents built around a risk-aware world model. The world model maintains a compact recurrent latent state over the trajectory and predicts future latent states from which DreamGuard derives immediate-hazard and prefix-risk evidence. It then fuses these multi-horizon signals into intervention decisions before execution. Experiments across four benchmarks and an online guardrail evaluation show that DreamGuard outperforms generic, reactive, and proactive guardrail baselines, achieves the best safety-utility trade-off among evaluated guardrails, and maintains an average end-to-end latency of 25 ms per call.