해석 가능한 신용카드 사기 탐지를 위한 대규모 언어 모델의 강화학습 적용

Reinforcement Learning of Large Language Models for Interpretable Credit Card Fraud Detection

전자상거래 플랫폼과 결제 솔루션 제공업체들은 디지털 거래의 속도와 익명성을 악용하는 신원 도용, 계정 탈취부터 복잡한 자금 세탁 작업에 이르기까지 점점 더 정교해지는 사기 수법에 직면해 있습니다. 그러나 이론적인 잠재력에도 불구하고, 실제 금융 환경의 사기 탐지에 대규모 언어 모델(LLM)을 적용하는 사례는 거의 없으며, 도메인 특화 전자상거래 거래 데이터를 처리하는 데 있어 그 실질적인 효과는 아직 실증적으로 검증되지 않았습니다. 사기 탐지 분야에서 기존 머신러닝의 한계와 LLM의 미개발 잠재력 사이의 격차를 해소하기 위해, 본 논문은 오직 원시 거래 데이터만을 사용하여 사기 탐지 작업에 특화된 경량 언어 모델을 사후 학습(post-train)시키는 데 강화학습(RL)을 적용하는 새로운 접근 방식을 제안합니다. 우리는 중국의 글로벌 결제 솔루션 기업이 제공한 실제 거래 데이터셋을 바탕으로 다양한 크기의 언어 모델을 미세 조정하기 위해, 규칙 기반 보상 시스템과 결합된 그룹 시퀀스 정책 최적화(GSPO) 알고리즘을 활용합니다. 이러한 강화학습 프레임워크를 통해, 언어 모델은 고객 정보, 배송 세부 정보, 제품 설명 및 주문 이력의 패턴을 포함하여 텍스트 거래 데이터 내에 내재된 다양한 신뢰 및 위험 신호를 탐색하도록 유도됩니다. 실험 결과는 본 접근 방식의 효과를 입증하며, 사후 학습된 언어 모델은 별도의 테스트 데이터에서 상당한 F1 점수 향상을 달성했습니다. 우리의 연구 결과는 관찰된 성능 향상이 주로 강화학습 고유의 탐색 메커니즘에 기인하며, 이를 통해 모델이 전통적인 엔지니어링 피처가 포착하는 범위를 넘어 새로운 사기 지표를 발견할 수 있음을 보여줍니다.

E-commerce platforms and payment solution providers face increasingly sophisticated fraud schemes, ranging from identity theft and account takeovers to complex money laundering operations that exploit the speed and anonymity of digital transactions. However, despite their theoretical promise, the application of Large Language Models (LLMs) to fraud detection in real-world financial contexts remains largely unexploited, and their practical effectiveness in handling domain-specific e-commerce transaction data has yet to be empirically validated. To bridge this gap between conventional machine learning limitations and the untapped potential of LLMs in fraud detection, this paper proposes a novel approach that employs Reinforcement Learning (RL) to post-train lightweight language models specifically for fraud detection tasks using only raw transaction data. We utilize the Group Sequence Policy Optimization (GSPO) algorithm combined with a rule-based reward system to fine-tune language models of various sizes on a real-life transaction dataset provided by a Chinese global payment solution company. Through this reinforcement learning framework, the language models are encouraged to explore diverse trust and risk signals embedded within the textual transaction data, including patterns in customer information, shipping details, product descriptions, and order history. Our experimental results demonstrate the effectiveness of this approach, with post-trained language models achieving substantial F1-score improvements on held-out test data. Our findings demonstrate that the observed performance improvements are primarily attributable to the exploration mechanism inherent in reinforcement learning, which allows models to discover novel fraud indicators beyond those captured by traditional engineered features.