모든 사람은 고유하다: 행동적 이질성을 고려한 채무 회수 대화 시스템 개발

Everyone is unique: Towards Behaviorally Heterogeneous Negotiation Dialogue Systems for Debt Collection

채무 회수는 금융 산업에서 매우 중요한 협상 과제이며, 인간 중심 대화 시스템에 대한 풍부한 행동 데이터를 제공하는 동시에 높은 위험을 수반하는 테스트 환경으로, 실용적인 가치와 학문적 가치를 모두 갖습니다. 거대 언어 모델(LLM)은 대화 및 협상 분야에서 잠재력을 보여주었지만, 복잡한 시나리오에서의 성능을 효과적으로 평가하는 것은 여전히 주요 과제입니다. 기존의 벤치마크는 사용자들을 고정된 선호도를 가진 정적인, 합리적인 에이전트로 가정하여 실제 채무 회수에 내재된 다양한 행동적 특성을 제대로 반영하지 못합니다. 이러한 격차를 해소하기 위해, 우리는 협상에서의 행동적 이질성을 강조하는 최초의 공개 데이터셋인 DebtBench를 제안합니다. 또한, 재정적 회수와 상호 작용 경험을 동시에 최적화하도록 훈련된 채무 회수 에이전트인 DebtGPT를 개발했습니다. 16개의 최첨단 LLM을 사용한 실험 결과, 대부분의 기존 모델은 이러한 복잡하지만 현실적인 시나리오에서 어려움을 겪는 반면, DebtGPT는 모든 오픈 소스 모델보다 뛰어난 성능을 보이며 GPT-4o와 동등한 수준의 성능을 달성했습니다. 코드 및 데이터는 https://github.com/YYuHhhh/DebtNegotiation 에서 확인할 수 있습니다.

Debt collection is a critical negotiation task in the financial industry, with strong practical relevance and exceptional academic value as a behaviorally rich, high-stakes testbed for human-centered dialogue systems. While large language models (LLMs) have shown promise in dialogue and negotiation, effectively evaluating their performance in this complex scenarios remains a major challenge: existing benchmarks uniformly assume users to be static, rational agents with fixed preferences, failing to capture the rich behavioral heterogeneity inherent in real-world debt collection. To bridge this gap, we propose DebtBench, the first public persona-enriched debt collection benchmark, that highlights behavioral heterogeneity in negotiation. Moreover, we develop DebtGPT, a debt collection agent trained to jointly optimize financial recovery and interaction experience. Our experimental results, using 16 state-of-the-art LLMs, find that most existing models struggle in this complex but realistic scenarios, whereas DebtGPT outperforms all open-source baselines and achieves performance on par with GPT-4o. The code and data are available at https://github.com/YYuHhhh/DebtNegotiation.