다양한 수준의 AI-텍스트 탐지를 위한, 작업 기반의 점진적인 인간-AI 텍스트 변환 벤치마크

Operation-Guided Progressive Human-to-AI Text Transformation Benchmark for Multi-Granularity AI-Text Detection

인공지능 작문 보조 도구가 실제 문서 작성 및 수정 워크플로우에 점점 더 통합됨에 따라, 많은 문서가 순수하게 인간이 작성하거나 AI가 생성한 것이 아니라 점진적인 인간-AI 공동 편집의 결과로 나타납니다. 그러나 기존의 AI-텍스트 탐지 벤치마크는 주로 최종 결과물에 초점을 맞추고 있으며, 수정 과정 전반에 걸쳐 AI 저작권 신호가 어떻게 나타나고, 축적되고, 사라지는지에 대한 제한적인 이해만을 제공합니다. 본 연구에서는 문서 전체, 문장, 토큰 및 구간의 다양한 수준에서 점진적인 인간-AI 텍스트 변환을 연구하기 위한 작업 기반 벤치마크인 OpAI-Bench를 소개합니다. OpAI-Bench는 인간이 작성한 문서부터 시작하여, 미리 정의된 AI 적용 비율과 다섯 가지 대표적인 AI 편집 작업을 통해 각 샘플에 대해 순차적으로 수정된 9개의 버전을 생성합니다. 이 벤치마크는 4가지 도메인을 포괄하며, 다양한 수준에서 완전한 저작권 출처를 유지합니다. OpAI-Bench는 8개의 문서 레벨 탐지기, 7개의 문장 레벨 탐지기 및 2개의 세분화된 토큰/구간 레벨 탐지기를 사용하여 종합적인 평가를 지원합니다. 실험 결과, AI-텍스트의 탐지 가능성은 AI가 편집한 콘텐츠 비율뿐만 아니라 편집 작업, 도메인 및 누적 수정 이력에 의해 결정됩니다. 흥미롭게도, 인간과 AI의 혼합 저작권이 있는 중간 버전은 완전하게 인간 또는 AI로 편집된 최종 단계보다 탐지하기 어려운 경우가 많으며, 이는 기존 벤치마크에서 간과되는 비선형적인 탐지 패턴을 드러냅니다. OpAI-Bench는 현실적인 점진적 편집 시나리오에서 언제, 어떻게 AI 지원 작문이 탐지 가능한지가 되는지를 분석하기 위한 제어된 테스트 환경을 제공합니다. 본 연구의 코드 및 벤치마크는 https://github.com/VILA-Lab/OpAI-Bench 에서 확인할 수 있습니다.

As AI writing assistants become increasingly integrated into real-world drafting and revision workflows, many documents are no longer purely human-written or AI-generated, but instead result from progressive human-AI co-editing. However, existing AI-text detection benchmarks largely focus on final outputs and provide limited understanding of how AI authorship signals emerge, accumulate, or disappear throughout the revision process. We introduce OpAI-Bench, an operation-guided benchmark for studying progressive human-to-AI text transformation across document, sentence, token, and span granularities. Starting from human-written documents, OpAI-Bench constructs nine sequentially revised versions for each sample under predefined AI coverage levels and five representative AI edit operations, covering four domains while preserving complete authorship provenance at multiple granularities. The benchmark supports comprehensive evaluation with 8 document-level detectors, 7 sentence-level detectors, and 2 fine-grained token/span-level detectors. Experiments reveal that AI-text detectability is governed not only by the proportion of AI-edited content, but also by edit operation, domain, and cumulative revision history. Interestingly, we notice that mixed-authorship intermediate versions are often harder to detect than both fully human and heavily AI-edited endpoints, exposing non-monotonic detection patterns missed by existing benchmarks. OpAI-Bench provides a controlled testbed for analyzing whether, when, and how AI-assisted writing becomes detectable under realistic progressive editing scenarios. Our code and benchmark are available at https://github.com/VILA-Lab/OpAI-Bench.