상시 유효한 통계적 워터마킹을 향하여

Towards Anytime-Valid Statistical Watermarking

대형 언어 모델(LLM)의 확산은 기계가 생성한 콘텐츠와 인간의 텍스트를 구별하기 위한 효율적인 메커니즘을 필요로 한다. 통계적 워터마킹이 유망한 해결책으로 떠올랐지만, 기존 방법론들은 샘플링 분포를 선택하기 위한 원칙적인 접근 방식의 부재와 유효한 조기 종료(early stopping)를 불가능하게 만드는 고정 기간(fixed-horizon) 가설 검정에 대한 의존이라는 두 가지 결정적인 한계를 겪고 있다. 본 논문에서는 최적의 샘플링과 상시 유효한 추론(anytime-valid inference)을 통합한 최초의 e-값(e-value) 기반 워터마킹 프레임워크인 'Anchored E-Watermarking'을 개발하여 이러한 격차를 해소한다. 선택적 종료(optional stopping)가 제1종 오류 보장을 무효화하는 전통적인 접근 방식과 달리, 우리의 프레임워크는 탐지 과정을 위한 검정 상마팅게일(test supermartingale)을 구성하여 유효하고 상시적인 추론을 가능하게 한다. 대상 모델을 근사화하기 위해 앵커 분포(anchor distribution)를 활용함으로써, 최악의 경우 로그 성장률(worst-case log-growth rate)에 대한 최적의 e-값을 특성화하고 최적의 예상 종료 시간(optimal expected stopping time)을 도출한다. 우리의 이론적 주장은 확립된 벤치마크에 대한 시뮬레이션 및 평가를 통해 입증되었으며, 우리의 프레임워크가 표본 효율성을 크게 향상시켜 최첨단 베이스라인에 비해 탐지에 필요한 평균 토큰 예산을 13-15% 줄일 수 있음을 보여준다.

The proliferation of Large Language Models (LLMs) necessitates efficient mechanisms to distinguish machine-generated content from human text. While statistical watermarking has emerged as a promising solution, existing methods suffer from two critical limitations: the lack of a principled approach for selecting sampling distributions and the reliance on fixed-horizon hypothesis testing, which precludes valid early stopping. In this paper, we bridge this gap by developing the first e-value-based watermarking framework, Anchored E-Watermarking, that unifies optimal sampling with anytime-valid inference. Unlike traditional approaches where optional stopping invalidates Type-I error guarantees, our framework enables valid, anytime-inference by constructing a test supermartingale for the detection process. By leveraging an anchor distribution to approximate the target model, we characterize the optimal e-value with respect to the worst-case log-growth rate and derive the optimal expected stopping time. Our theoretical claims are substantiated by simulations and evaluations on established benchmarks, showing that our framework can significantly enhance sample efficiency, reducing the average token budget required for detection by 13-15% relative to state-of-the-art baselines.