SeqLLM: 행동 패턴 시퀀스 모델링을 활용한 LLM 강화 기술 - WeChat Pay의 고위험 의사결정 지원

SeqLLM: Augmenting LLMs with Behavioral-Sequence Modeling for High-Stakes Decisions at WeChat Pay

대규모 결제 플랫폼에서 발생하는 상인 위험 관리는 매일 수천만 건의 상인을 심사하며, 이때 오탐은 정당한 상인에게 피해를 주고, 역오탐은 유해 활동을 놓치게 만듭니다. 가장 어려운 사례는 상인의 텍스트 프로필과 장기적인 행동 패턴 시퀀스를 동시에 이해해야 하는 경우입니다. 대규모 언어 모델(LLM)은 텍스트 처리 능력은 뛰어나지만, 이러한 시퀀스 모델링은 기본적으로 수행할 수 없으며, 이를 적용하려 할 때 종종 파국적인 망각 현상이 발생합니다. 본 논문에서는 사전 학습된 LLM에 행동 패턴 시퀀스 모델링을 추가하면서도 기존의 언어 능력을 유지하는 SeqLLM이라는 프레임워크를 제안합니다. SeqLLM은 세 가지 구성 요소로 이루어져 있습니다. 첫째, 행동 이벤트들을 고유 토큰으로 표현하는 간결한 이산 어휘; 둘째, LLM의 의미 공간에 이러한 토큰을 연결하기 위해 두 단계 정렬 학습 방식을 사용한 경량 프로젝터; 셋째, 지속적인 사전 학습 대신 작업 프리픽스를 활용한 지도 학습 방식으로 시퀀스 모델링 능력을 습득하는 프레픽스 가이드 주입 방식입니다. SeqLLM은 WeChat Pay에서 매일 수백만 건의 상인 심사에 사용되고 있으며, 기존 DeepSeek 기반 LLM과 비교하여 심사 정확도를 92.0%에서 97.5%로 향상시켰습니다. 또한, 사전 학습된 행동 토큰 임베딩은 대규모 트랜잭션 데이터 처리 시스템에서 탑 0.01% 정밀도를 26.8%p 향상시키는 데 기여했습니다. 결제 분야 외에도 SeqLLM은 공개 추천 벤치마크에서 최첨단 성능을 달성합니다. MovieLens 및 Amazon 데이터셋에서 강력한 User-LLM 기반 모델보다 최대 32% 높은 Recall@5 값을 보였으며, 언어 능력 또한 현저히 뛰어납니다. RecIF 데이터셋에서는 전체 OneRec-8B 파이프라인의 1/5 수준의 GPU 사용량으로 Pass@32를 14.2% 향상시켰습니다.

Merchant risk control at large payment platforms screens tens of millions of merchants daily, where false positives harm legitimate merchants and false negatives leave harmful activity undetected. The hardest cases require jointly understanding a merchant's textual profile and long behavioral sequence. Large language models (LLMs) excel at text but cannot natively model such sequences, while adapting them often causes catastrophic forgetting. We present SeqLLM, a framework that adds behavioral-sequence modeling to a pretrained LLM while preserving its language ability. SeqLLM combines three components: a compact discrete vocabulary that represents behavioral events as native tokens; a lightweight projector, trained with a two-stage alignment curriculum, that grounds these tokens in the LLM's semantic space; and prefix-guided capability injection, which acquires sequence-modeling ability through task-prefixed supervised fine-tuning rather than continual pre-training. SeqLLM is deployed at WeChat Pay, screening millions of merchants daily. Against the production DeepSeek-based LLM baseline, it raises screening precision from 92.0% to 97.5%. Its pretrained behavior-token embeddings also improve Precision@Top-0.01% by 26.8 percentage points in a production fraud detector serving billion-scale transaction traffic. Beyond payments, SeqLLM achieves state-of-the-art results on public recommendation benchmarks. On MovieLens and Amazon, it surpasses the strong User-LLM baseline by up to 32% relative Recall@5 while retaining markedly stronger language ability. On RecIF, it improves Pass@32 by 14.2% over the full OneRec-8B pipeline using only one-fifth of its GPU-days.