위험 분류에서 실행 계획 수정까지: LLM 에이전트를 위한 가이드레일 피드백 기반 프레임워크

From Risk Classification to Action Plan Remediation: A Guardrail Feedback Driven Framework for LLM Agents

LLM 기반 가이드레일은 일반적으로 실행 전에 제안된 작업 또는 입력을 평가하여 안전 신호를 생성합니다. 이러한 신호에는 이진 승인/거부 결정, 위험 범주 및 잠재적인 정책 위반에 대한 설명 등이 포함됩니다. 그러나 에이전트의 위험은 종종 신뢰할 수 없는 외부 콘텐츠, 안전하지 않은 지침 또는 위험한 도구 사용과 같은 요인으로 인해 발생합니다. 기존 가이드레일은 이러한 경우 전체 작업을 일관되게 '안전하지 않음'으로 플래그 처리하여 위협을 차단하지만, 유익한 부분을 함께 막아버리는 경우가 많습니다. 또한, 기존 연구에서는 주로 개별적으로 가이드레일을 평가하며, 이러한 개입이 실제로 에이전트의 안전성을 향상시키는지 명확하게 밝히지 못합니다. 이를 해결하기 위해, 우리는 각 계획 단계에서 에이전트를 유익한 목표에 맞추는 지침 신호로 가이드레일에서 생성된 언어 피드백을 활용하는 가이드레일 통합 에이전트 프레임워크인 TRIAD (Tripartite Response for Iterative Agent Guardrailing)을 소개합니다. 우리는 자체적으로 구성한 학습 데이터 세트에 대해 언어 모델을 미세 조정하여 '진행', '거부' 또는 '수정'의 세 가지 결정 중 하나를 출력하고, 함께 구조화된 자연어 피드백을 제공하도록 합니다. 단순히 실행을 허용하거나 차단하는 대신, '수정'은 에이전트가 계획을 수정하고 유해한 요소를 피하며 가능한 경우 유익한 작업을 유지하도록 안내합니다. TRIAD는 이 피드백을 에이전트의 컨텍스트에 주입하여 후속 계획 수정을 가능하게 하고 가이드레일 피드백과 에이전트 계획 간의 폐쇄 루프를 형성합니다. ASB 및 AgentHarm 데이터 세트에 대한 광범위한 실험 결과, TRIAD은 평균 공격 성공률을 10.42%로 줄이는 동시에 가이드레일 통합 기준 모델 중에서 가장 우수한 안전-유용성 균형을 달성했습니다. 저희 코드는 다음 주소에서 이용 가능합니다: https://github.com/YUHAOSUNABC/TRIAD.

LLM-based guardrails typically safeguard agents by evaluating proposed actions or inputs before execution, producing safety signals such as binary allow/deny decisions, risk categories, and/or explanatory rationales about potential policy violations. However, agent risks often arise when otherwise benign tasks are contaminated by untrusted external content, unsafe instructions, or risky tool use. Existing guardrails often flag the entire task uniformly as unsafe, thereby blocking the threat but sacrificing the benign part. Moreover, existing work largely evaluates guardrails in isolation, leaving unclear whether their interventions lead to safer downstream agent behavior. To address this, we introduce TRIAD (Tripartite Response for Iterative Agent Guardrailing), a guardrail-integrated agent framework that leverages guardrail-generated verbal feedback as a guiding signal to keep the agent aligned with benign objectives at each planning step. We finetune a language model on a self-curated training dataset to output one of three decisions: proceed, refuse, or update, together with structured natural-language feedback. Rather than merely allowing or blocking execution, update guides the agent to revise its plan, avoid harmful components, and preserve the benign task where possible. TRIAD injects this feedback into the agent's context, enabling subsequent plan revision and forming a closed loop between guardrail feedback and agent planning. Extensive experiments on ASB and AgentHarm show that TRIAD reduces the average attack success rate to 10.42%, while achieving the best safety-utility trade-off among guardrail-integrated baselines. Our code is available at: https://github.com/YUHAOSUNABC/TRIAD.