Alipay-PIBench: 코딩 에이전트를 위한 현실적인 결제 통합 벤치마크

Alipay-PIBench: A Realistic Payment Integration Benchmark for Coding Agents

결제 통합은 저장소 수준의 복잡한 소프트웨어 작업으로, 에이전트는 적절한 제품을 선택하고, 조화로운 클라이언트-서버 흐름을 구현하며, 결제 결과를 확인하고, 트랜잭션과 비즈니스 상태 간의 일관성을 유지해야 합니다. 본 논문에서는 Alipay 실제 결제 통합에 대한 코딩 에이전트 평가를 위한 벤치마크인 Alipay-PIBench를 소개합니다. 이 벤치마크는 제품별로 구성된 9개의 프로젝트와 18개의 작업 인스턴스로 구성되어 있으며, 각 작업은 기본적인 기능 완성 및 고급 위험 요소를 고려한 강화 시나리오로 구성됩니다. 시나리오별 평가 기준은 정형화된 정적 분석, 단위 테스트, 통합 테스트 및 엔드-투-엔드 검사를 지원하며, LLM(Large Language Model) 기반의 평가를 통해 의미론적인 요구 사항을 확인합니다. 우리는 6개의 코딩 에이전트 모델을 평가하고, 각 모델의 통과율(Rubric Pass Rate, RPR)을 보고합니다. '기술 활용' 조건을 적용했을 때, 평균 RPR은 68.58%에서 91.37% 사이입니다. 'alipay-payment-integration' 기술에 대한 접근성은 평균적으로 '기술 미활용' 조건보다 평균 RPR을 10.31%p 향상시키며, 모델, 제품 및 시나리오에 따라 성능 향상의 정도가 다릅니다. 방법론 수준의 결과는 소스 코드 완성도, 실행 가능한 결제 동작, 그리고 결제 도메인 요구 사항 간의 차이를 보여줍니다. Alipay-PIBench는 모델의 기능을 진단하고, 결제 통합 과정에서의 체계적인 지침이 얼마나 효과적인지 평가하기 위한 통제된 환경을 제공합니다.

Payment integration is a demanding repository-level software task: agents must select a suitable product, implement coordinated client-server flows, verify payment outcomes, and preserve consistency between transaction and business states. We introduce Alipay-PIBench, a benchmark for evaluating coding agents on realistic Alipay payment integration. It contains nine product-specific projects and 18 task instances, each organized into Basic functional-completion and Advanced risk-aware hardening scenarios. Scenario-specific rubrics support deterministic static, unit, integration, and end-to-end checks, supplemented by LLM-assisted assessment for semantic requirements. We evaluate six coding-agent models and report rubric pass rate (RPR). Under the with-skill condition, mean RPR ranges from 68.58% to 91.37%. Access to the alipay-payment-integration skill improves mean RPR by 10.31 percentage points on average relative to the without-skill condition, with gains varying across models, products, and scenarios. Method-level results distinguish source-level completion, executable payment behavior, and payment-domain requirements. Alipay-PIBench provides a controlled setting for diagnosing model capability and evaluating structured guidance in payment integration.