FinVault: 실행 기반 환경에서의 금융 에이전트 안전성 벤치마킹

FinVault: Benchmarking Financial Agent Safety in Execution-Grounded Environments

대규모 언어 모델(LLM)을 기반으로 하는 금융 에이전트는 투자 분석, 위험 평가 및 자동 의사 결정에 점점 더 많이 활용되고 있으며, 이러한 에이전트의 계획, 도구 호출 및 가변 상태 조작 능력은 고위험 및 엄격하게 규제되는 금융 환경에서 새로운 보안 위험을 초래합니다. 그러나 기존의 안전성 평가는 주로 언어 모델 수준의 콘텐츠 준수 또는 추상적인 에이전트 설정에 집중되어 있으며, 실제 운영 워크플로우 및 상태 변경 작업에서 발생하는 실행 기반 위험을 제대로 반영하지 못합니다. 이러한 격차를 해소하기 위해, 우리는 31개의 규제 사례 기반 샌드박스 시나리오, 상태를 기록할 수 있는 데이터베이스 및 명시적인 규정 준수 제약을 포함하는 금융 에이전트의 첫 번째 실행 기반 보안 벤치마크인 FinVault를 제안합니다. 또한, 107개의 실제 취약점과 963개의 테스트 케이스를 통해 프롬프트 주입, 탈옥, 금융에 특화된 공격 및 오탐을 평가하기 위한 양성 입력을 체계적으로 포함합니다. 실험 결과, 기존의 방어 메커니즘이 실제 금융 에이전트 환경에서 효과적이지 않으며, 최첨단 모델의 경우 평균 공격 성공률(ASR)이 최대 50.0%에 달하고, 가장 강력한 시스템에서도 6.7%의 상당한 ASR을 보이는 것으로 나타났습니다. 이는 현재의 안전성 설계가 가진 한계와 더 강력한 금융 특화 방어의 필요성을 시사합니다. 저희 코드는 https://github.com/aifinlab/FinVault 에서 확인할 수 있습니다.

Financial agents powered by large language models (LLMs) are increasingly deployed for investment analysis, risk assessment, and automated decision-making, where their abilities to plan, invoke tools, and manipulate mutable state introduce new security risks in high-stakes and highly regulated financial environments. However, existing safety evaluations largely focus on language-model-level content compliance or abstract agent settings, failing to capture execution-grounded risks arising from real operational workflows and state-changing actions. To bridge this gap, we propose FinVault, the first execution-grounded security benchmark for financial agents, comprising 31 regulatory case-driven sandbox scenarios with state-writable databases and explicit compliance constraints, together with 107 real-world vulnerabilities and 963 test cases that systematically cover prompt injection, jailbreaking, financially adapted attacks, as well as benign inputs for false-positive evaluation. Experimental results reveal that existing defense mechanisms remain ineffective in realistic financial agent settings, with average attack success rates (ASR) still reaching up to 50.0\% on state-of-the-art models and remaining non-negligible even for the most robust systems (ASR 6.7\%), highlighting the limited transferability of current safety designs and the need for stronger financial-specific defenses. Our code can be found at https://github.com/aifinlab/FinVault.