도구 사양이 중요하다: AI 에이전트의 안전 위험을 파악하고 완화

Tool Specifications Matter: Uncovering and Mitigating Safety Risks in AI Agents

AI 에이전트는 외부 도구를 활용하여 대규모 언어 모델(LLM)의 기능을 확장하며, 복잡한 작업을 수행하고 모델 출력을 실제 세계의 중요한 행동으로 변환합니다. 그러나 LLM은 에이전트로 배포될 때 안전성이 크게 저하되는 경향이 있으며, 이러한 성능 저하의 원인은 아직 명확하게 밝혀지지 않았습니다. 본 논문에서는 스키마 형식의 도구 사양이 에이전트 안전성 저하의 주요 원인임을 확인하고, 내부 거부 신호를 약화시키고 위험한 도구 실행에 기여한다는 점을 백색 상자 표현 분석을 통해 보여줍니다. 이러한 발견을 바탕으로, 본 논문에서는 안전 판단과 도구 실행을 분리하는 런타임 안전 장치인 SafeKeep을 제안합니다. SafeKeep은 원래의 스키마 형식 사양을 유지하면서도 평면화된 텍스트 기반 도구 사양을 사용하여 요청을 평가합니다. 두 가지 대표적인 벤치마크와 백색 상자 및 블랙 박스 모델을 포함한 네 가지 LLM에서, SafeKeep은 유해한 요청에 대한 평균 거부율을 23.8%에서 70.6%로 증가시키고, 관찰 수준의 프롬프트 주입 공격 성공률을 25.6%에서 2.5%로 감소시킵니다. 또한 기존 안전 장치보다 성능이 우수하며 작업 처리 능력을 유지합니다. 코드와 데이터는 https://github.com/snowcatsmoking/SafeKeep 에서 제공됩니다.

AI agents extend large language models (LLMs) with external tools, enabling them to perform complex tasks and translate model outputs into consequential real-world actions. Yet LLMs often become substantially less safe when deployed as agents, and the source of this degradation remains poorly understood. In this paper, we identify schema-formatted tool specifications as a primary source of agent safety degradation and show, through white-box representation analysis, that they weaken the model's internal refusal signals and contribute to unsafe tool execution. Building on this finding, we propose SafeKeep, an inference-time safeguard that decouples safety judgment from tool execution: it assesses requests using flattened textual tool specifications while retaining the original schema-formatted specifications for execution. Across two representative benchmarks and four LLMs, including both white-box and black-box models, SafeKeep increases the average refusal rate for harmful requests from 23.8% to 70.6% and reduces the average attack success rate under observation-level prompt injection from 25.6% to 2.5%. It also outperforms existing safeguards and preserves task-handling capability. We release the code and data at https://github.com/snowcatsmoking/SafeKeep .