C-ReD: 실제 프롬프트에서 파생된 AI 생성 텍스트 탐지를 위한 포괄적인 중국어 벤치마크

C-ReD: A Comprehensive Chinese Benchmark for AI-Generated Text Detection Derived from Real-World Prompts

최근, 거대 언어 모델(LLM)은 매우 유창한 텍스트 콘텐츠를 생성할 수 있는 능력을 갖추게 되었습니다. 이러한 모델은 인간에게 상당한 편의를 제공하지만, 피싱 및 학문적 부정행위와 같은 다양한 위험을 초래하기도 합니다. 따라서 AI 생성 텍스트를 탐지하는 알고리즘을 개발하고 관련 데이터 세트를 구축하기 위한 많은 연구 노력이 진행되어 왔습니다. 그러나 중국어 코퍼스 분야에서는 모델 다양성의 부족 및 데이터 균일성 문제와 같은 과제가 여전히 존재합니다. 이러한 문제점을 해결하기 위해, 우리는 실제 프롬프트 기반 AI 생성 텍스트 탐지를 위한 포괄적인 중국어 벤치마크인 C-ReD를 제안합니다. 실험 결과는 C-ReD가 신뢰성 있는 내부 영역 탐지를 가능하게 할 뿐만 아니라, 기존의 중국어 탐지 벤치마크가 가진 모델 다양성, 영역 범위, 프롬프트 현실성 등의 한계를 극복하고, 새로운 LLM 및 외부 중국어 데이터 세트에 대한 강력한 일반화 성능을 제공한다는 것을 보여줍니다. 저희가 개발한 자원은 https://github.com/HeraldofLight/C-ReD 에서 공개됩니다.

Recently, large language models (LLMs) are capable of generating highly fluent textual content. While they offer significant convenience to humans, they also introduce various risks, like phishing and academic dishonesty. Numerous research efforts have been dedicated to developing algorithms for detecting AI-generated text and constructing relevant datasets. However, in the domain of Chinese corpora, challenges remain, including limited model diversity and data homogeneity. To address these issues, we propose C-ReD: a comprehensive Chinese Real-prompt AI-generated Detection benchmark. Experiments demonstrate that C-ReD not only enables reliable in-domain detection but also supports strong generalization to unseen LLMs and external Chinese datasets-addressing critical gaps in model diversity, domain coverage, and prompt realism that have limited prior Chinese detection benchmarks. We release our resources at https://github.com/HeraldofLight/C-ReD.