PolicyBank: LLM 에이전트를 위한 정책 이해 발전

PolicyBank: Evolving Policy Understanding for LLM Agents

조직 정책 하에서 작동하는 LLM 에이전트는 일반적으로 자연어로 명시된 권한 제약 조건을 준수해야 합니다. 하지만 실제로는 이러한 명시에는 필연적으로 모호성 및 논리적, 의미적 격차가 존재하며, 이는 에이전트의 행동이 실제 요구 사항과 체계적으로 달라지게 만드는 원인이 됩니다. 본 연구에서는 에이전트가 상호 작용과 사전 배포 테스트를 통한 교정 피드백을 통해 정책 이해를 발전시키면, 스스로 해석을 개선하여 명시의 격차를 해소할 수 있는지 질문합니다. 우리는 PolicyBank를 제안합니다. PolicyBank는 구조화된 도구 수준의 정책 통찰력을 유지하고 반복적으로 개선하는 메모리 메커니즘입니다. 기존의 메모리 메커니즘은 정책을 불변의 진실로 취급하여 "규정을 준수하지만 틀린" 행동을 강화하는 반면, PolicyBank는 이러한 한계를 극복합니다. 또한, 널리 사용되는 도구 호출 벤치마크를 확장하여 통제된 정책 격차를 포함하는 체계적인 테스트 환경을 구축함으로써, 정렬 실패와 실행 실패를 분리하여 분석합니다. 기존의 메모리 메커니즘은 정책 격차 시나리오에서 거의 0%의 성공률을 보이는 반면, PolicyBank는 최대 82%의 격차를 인간 전문가 수준으로 좁힐 수 있습니다.

LLM agents operating under organizational policies must comply with authorization constraints typically specified in natural language. In practice, such specifications inevitably contain ambiguities and logical or semantic gaps that cause the agent's behavior to systematically diverge from the true requirements. We ask: by letting an agent evolve its policy understanding through interaction and corrective feedback from pre-deployment testing, can it autonomously refine its interpretation to close specification gaps? We propose PolicyBank, a memory mechanism that maintains structured, tool-level policy insights and iteratively refines them -- unlike existing memory mechanisms that treat the policy as immutable ground truth, reinforcing "compliant but wrong" behaviors. We also contribute a systematic testbed by extending a popular tool-calling benchmark with controlled policy gaps that isolate alignment failures from execution failures. While existing memory mechanisms achieve near-zero success on policy-gap scenarios, PolicyBank closes up to 82% of the gap toward a human oracle.