신뢰의 정량화: 신뢰할 수 있는 AI 에이전트를 위한 금융 위험 관리

Quantifying Trust: Financial Risk Management for Trustworthy AI Agents

신뢰할 수 있는 AI에 대한 기존 연구는 편향 완화, 적대적 견고성, 해석 가능성과 같은 모델 내부 속성에 중점을 둡니다. 그러나 AI 시스템이 개방적인 환경에 배포되고 결제 또는 자산과 점점 더 연결되는 자율 에이전트로 진화함에 따라, 신뢰의 개념은 모델의 동작이 아닌, 에이전트가 작업을 완료하는지, 사용자 의도를 따르는지, 그리고 물질적 또는 심리적 해를 유발하는 오류를 피하는지와 같은 전체적인 결과로 전환됩니다. 이러한 위험은 근본적으로 제품 수준의 문제이며, 에이전트의 동작이 본질적으로 확률적이기 때문에 기술적인 안전 장치만으로는 해결할 수 없습니다. 모델 수준의 안정성과 사용자에게 제공되는 보증 사이의 이러한 격차를 해소하기 위해, 우리는 위험 관리에 기반한 보완적인 프레임워크를 제안합니다. 금융 담보 방식을 참고하여, 우리는 AI 매개 트랜잭션에 대한 결제 정산 표준인 **에이전트 위험 표준(ARS)**을 소개합니다. ARS는 위험 평가, 담보 제공 및 보상을 단일 트랜잭션 프레임워크로 통합하여, 사용자가 에이전트와 상호 작용할 때 보호받을 수 있도록 합니다. ARS 하에서, 사용자는 실행 실패, 의도 불일치 또는 의도하지 않은 결과가 발생할 경우, 미리 정의되고 계약적으로 구속력이 있는 보상을 받습니다. 이를 통해 신뢰는 모델 동작에 대한 암묵적인 기대에서 벗어나, 명시적이고 측정 가능하며 법적 효력을 갖는 제품 보증으로 전환됩니다. 또한, ARS를 에이전트 트랜잭션에 적용했을 때의 사회적 이점을 분석하는 시뮬레이션 연구를 제시합니다. ARS의 구현은 https://github.com/t54-labs/AgenticRiskStandard 에서 확인할 수 있습니다.

Prior work on trustworthy AI emphasizes model-internal properties such as bias mitigation, adversarial robustness, and interpretability. As AI systems evolve into autonomous agents deployed in open environments and increasingly connected to payments or assets, the operational meaning of trust shifts to end-to-end outcomes: whether an agent completes tasks, follows user intent, and avoids failures that cause material or psychological harm. These risks are fundamentally product-level and cannot be eliminated by technical safeguards alone because agent behavior is inherently stochastic. To address this gap between model-level reliability and user-facing assurance, we propose a complementary framework based on risk management. Drawing inspiration from financial underwriting, we introduce the \textbf{Agentic Risk Standard (ARS)}, a payment settlement standard for AI-mediated transactions. ARS integrates risk assessment, underwriting, and compensation into a single transaction framework that protects users when interacting with agents. Under ARS, users receive predefined and contractually enforceable compensation in cases of execution failure, misalignment, or unintended outcomes. This shifts trust from an implicit expectation about model behavior to an explicit, measurable, and enforceable product guarantee. We also present a simulation study analyzing the social benefits of applying ARS to agentic transactions. ARS's implementation can be found at https://github.com/t54-labs/AgenticRiskStandard.