더 안전한 에이전트를 위한 추적 기능

Tracking Capabilities for Safer Agents

도구 호출을 통해 실제 세계와 상호 작용하는 AI 에이전트는 근본적인 안전 문제를 야기합니다. 에이전트가 개인 정보를 유출하거나, 의도치 않은 부작용을 일으키거나, 프롬프트 주입을 통해 조작될 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 에이전트를 프로그래밍 언어 기반의 "안전 장치" 안에 두는 것을 제안합니다. 에이전트는 도구를 직접 호출하는 대신, 능력 안전(capability-safe) 언어인 Scala 3의 캡처 검사 기능을 사용하여 자신의 의도를 코드로 표현합니다. 능력은 프로그램 변수로, 관심 있는 효과 및 리소스에 대한 접근을 규제합니다. Scala의 타입 시스템은 능력을 정적으로 추적하여 에이전트가 수행할 수 있는 작업에 대한 세밀한 제어를 제공합니다. 특히, 이는 부분 계산이 부작용이 없는 "로컬 순수성(local purity)"을 강제할 수 있도록 하여, 에이전트가 분류된 데이터를 처리할 때 정보 유출을 방지합니다. 강력한 타입 시스템과 추적된 능력을 활용하여 확장 가능한 에이전트 안전 장치를 구축할 수 있음을 보여줍니다. 실험 결과, 에이전트가 상당한 성능 저하 없이 능력 안전 코드를 생성할 수 있으며, 타입 시스템은 정보 유출 및 악의적인 부작용과 같은 안전하지 않은 동작을 안정적으로 방지할 수 있습니다.

AI agents that interact with the real world through tool calls pose fundamental safety challenges: agents might leak private information, cause unintended side effects, or be manipulated through prompt injection. To address these challenges, we propose to put the agent in a programming-language-based "safety harness": instead of calling tools directly, agents express their intentions as code in a capability-safe language: Scala 3 with capture checking. Capabilities are program variables that regulate access to effects and resources of interest. Scala's type system tracks capabilities statically, providing fine-grained control over what an agent can do. In particular, it enables local purity, the ability to enforce that sub-computations are side-effect-free, preventing information leakage when agents process classified data. We demonstrate that extensible agent safety harnesses can be built by leveraging a strong type system with tracked capabilities. Our experiments show that agents can generate capability-safe code with no significant loss in task performance, while the type system reliably prevents unsafe behaviors such as information leakage and malicious side effects.