인간과 LLM이 공동 작성한 텍스트에서 LLM이 생성한 토큰 탐지

Detecting LLM-Generated Tokens in Human--LLM Coauthored Text

인간-AI 협업 작성이 증가하면서, 혼합 저자 문서 내에서 LLM이 생성했을 가능성이 높은 부분을 정확하게 찾아내는 정교한 탐지 방법의 필요성이 커지고 있습니다. 기존의 LLM 생성 텍스트 탐지 방법은 주로 문서 전체 수준의 분류에 초점을 맞추고 있으며, 텍스트의 어느 부분이 LLM에 의해 생성되었는지 식별하는 데 한계가 있습니다. 본 논문에서는 이러한 시급한 문제 해결을 위한 새로운 방법을 제시합니다. 저희 방법은 현대 언어 모델의 기본적인 단위인 토큰 수준에서 작동하며, 기존의 토큰 수준 탐지 점수를 활용합니다. 핵심 아이디어는 인접한 토큰 점수를 부드럽게 만들어 변동성을 줄이는 동시에, 로컬 저작 구조에 따라 대역폭을 선택하는 적응형 Lepski 유형 규칙을 사용한다는 것입니다. 저희 방법은 구현이 간단하며, 훈련을 위해 토큰 수준의 레이블 데이터가 필요하지 않습니다. 이론적으로, 본 논문에서는 이러한 절충점을 분석하고 제안된 방법이 기본 신호를 추정하는 데 유리한 평균 제곱 오차 성능을 달성함을 보입니다. 실험적으로, 저희 방법은 합성 데이터셋과 실제 데이터셋 모두에서 다양한 기준 모델에 비해 뛰어난 성능을 보여줍니다. 또한, 저희 방법 구현체를 제공하는 공개 웹사이트를 구축했습니다.

The rise of human-AI collaborative writing has created a growing need for fine-grained detection methods that support localizing likely LLM-generated content in mixed-authorship documents. Existing methods for detecting LLM-generated text mainly focus on document-level classification and cannot identify which parts of the text are generated by LLMs. This paper introduces a new method to address this urgent need. Our method operates at the token level, the natural unit of modern language models, and builds on existing token-level detection scores. The key idea is to smooth adjacent token scores to reduce their variability, while using an adaptive Lepski-type rule to select the bandwidth according to the local authorship structure. Our method is simple to implement and does not require token-level labeled data for training. Theoretically, we characterize this trade-off and show that the proposed method achieves favorable mean square error performance in estimating the underlying signal. Empirically, we demonstrate strong performance of our method against a wide range of baselines in both synthetic datasets and a realistic dataset. We deploy a publicly accessible website that implements the methods as well.