낮은 권한으로 충분할 때: LLM 에이전트의 과도한 권한 도구 선택에 대한 연구

When Lower Privileges Suffice: Investigating Over-Privileged Tool Selection in LLM Agents

LLM 에이전트가 자율적으로 도구를 선택하는 빈도가 증가함에 따라, 다양한 권한을 가진 도구 중에서 선택하는 과정은 안전과 관련된 중요한 문제가 됩니다. 그러나 기존의 도구 선택 연구는 안전성을 고려하지 않은 메타데이터 선호도에 초점을 맞추고 있어, 권한 민감적인 선택에 대한 탐색이 부족했습니다. 이러한 간극을 해소하기 위해, 우리는 에이전트가 충분히 낮은 권한을 가진 대체 도구가 있음에도 불구하고 더 높은 권한을 가진 도구를 선택하거나 사용하게 되는 '과도한 권한 도구 선택' 현상을 연구합니다. 우리는 ToolPrivBench를 통해 에이전트들이 충분히 낮은 권한을 가진 대체 도구가 있음에도 불구하고, 더 높은 권한을 가진 도구를 선택하는지 여부를 평가하고, 초기 선택뿐만 아니라 일시적인 도구 오류 후의 상황까지 측정합니다. 8개의 영역과 5가지 반복되는 위험 패턴에 대한 분석 결과, 주류 LLM 에이전트에서 과도한 권한 도구 선택은 흔하게 나타나며, 특히 일시적인 오류 발생 시 더욱 심화되는 것을 확인했습니다. 또한, 일반적인 안전 정렬(safety alignment)이 최소 권한 원칙을 준수하는 도구 선택으로 자동적으로 연결되지 않으며, 프롬프트 수준의 제어가 일시적인 오류 상황에서는 제한적인 효과만 발휘한다는 사실을 발견했습니다. 따라서, 우리는 에이전트에게 충분히 낮은 권한을 가진 도구를 선호하고 필요한 경우에만 더 높은 권한을 가진 도구로 전환하도록 교육하는 '권한 인식 후처리(privilege-aware post-training)' 방어 기법을 제안합니다. 우리의 실험 결과는 이 방어 기법이 불필요한 고가용 권한 도구 사용량을 크게 줄이는 동시에, 전반적인 성능 저하 없이 효과적으로 작동한다는 것을 보여줍니다.

As LLM agents increasingly select tools autonomously, their choices among tools with different privileges become safety-relevant. However, prior tool-selection studies focus on safety-agnostic metadata preferences, leaving privilege-sensitive choices underexplored. To address this gap, we study over-privileged tool selection, in which an agent selects or escalates to a higher-privilege tool despite a sufficient lower-privilege alternative. We introduce ToolPrivBench to evaluate whether agents choose higher-privilege tools despite sufficient lower-privilege alternatives, measuring both initial selection and escalation after transient tool failures. Across eight domains and five recurring risk patterns, we find that over-privileged tool selection is common among mainstream LLM agents and is further amplified by transient failures. We further find that general safety alignment does not reliably transfer to least-privilege tool choice, while prompt-level controls provide only limited mitigation under transient failures. We therefore introduce a privilege-aware post-training defense that teaches agents to prefer sufficient lower-privilege tools and escalate only when necessary. Our mitigation experiments show that this defense substantially reduces unnecessary high-privilege tool use while preserving general capabilities.