READER: 추출된 표현을 통한 강력한 증거 기반 저작권 추론

READER: Dynamic LLM Provenance from Query-Varying Interactions

최근 다양한 애플리케이션에서 사용자의 작업이 공식 및 제3자 LLM API를 통해 처리됨에 따라, 출처 정보 확인은 중요한 운영상의 문제로 부상하고 있습니다. 즉, 어떤 모델이 특정 블랙박스 응답을 생성했는지 파악하는 것이 중요합니다. 본 연구에서는 동적 블랙박스 LLM 출처 식별 문제를 다룹니다. 이는 고정된 입력 집합이나 벤치마크 스위트가 아닌, 다양한 질의를 통해 얻은 결과에서 원본 LLM을 식별하는 문제입니다. 이 문제는 프롬프트의 의미론적인 영향이 크고, 모델별 저작권 정보는 표면적으로는 미약하고 일관성이 없기 때문에 어렵습니다. 우리는 READER (Robust Evidence-based Authorship Decoding via Extracted Representations)라는 경량화된 출처 추적 프레임워크를 제안합니다. READER는 동결된 프록시 LLM을 사용하여 숨겨진 저작권 증거를 분석하는 방식으로 작동합니다. READER는 블랙박스 모델의 출력 결과를 프록시 활성화 공간에 매핑하고, 각 응답 내에서 토큰 상태를 시간적으로 필터링한 후, 독립적으로 샘플링된 여러 프롬프트에 대한 단일 응답의 로그 사후 확률 증거를 합산하여 베이즈 증거 누적을 수행합니다. 이는 개별 프롬프트에 특화된 표현의 단순 평균화를 피하면서, 신뢰도 교정을 위한 질의 기반 증거를 유지합니다. Agent500 데이터셋(에이전트 스타일 프롬프트로 구성된 50개 대상 데이터셋)에서 READER는 단일 응답으로 $31.0$-$42.4%$의 최상위 정확도를, 50개의 응답으로는 $70.0$-$84.0%$의 정확도를 달성하여, 문장 인코더 기반 지문 기술보다 훨씬 뛰어난 성능을 보입니다. 또한, 9개의 프록시 리더를 사용하여 확장 분석한 결과, 더 강력한 LLM은 더욱 선형적으로 해독 가능한 저작권 구조를 가지고 있음을 확인했습니다. 이는 저작권 인식 능력이 이미 동결된 LLM 표현에 존재하며, 이를 통해 신뢰성 있는 다중 질의 기반 출처 추적이 가능하다는 것을 시사합니다.

Existing black-box LLM provenance methods achieve comparability by querying every candidate model with the same diagnostic prompts. In deployment, auditors inherit a different evidence stream: heterogeneous prompt-response traces that arrive incrementally. We formalize dynamic black-box LLM provenance: after enrolling a fixed candidate ecosystem, attribute query-varying interactions at any available evidence budget. READER recovers comparability through a frozen proxy LLM. It projects proxy states aligned with response tokens onto length-normalized DC and first-AC modes, capturing response-wide activation location and coarse trajectory evolution. An enrollment-trained linear probe converts each fingerprint into source evidence, and Bayesian accumulation reuses this evidence unit from one observation to many. We introduce Agent500, containing 50,000 responses from 100 local and API sources to 500 heterogeneous agent prompts. On 100-way attribution, READER reaches $50.4\%$ accuracy from one response and $96.2\%$ from 100, compared with $33.0\%$ and $79.0\%$ for the strongest dynamic baselines. Four distinct proxy families all exceed $94.8\%$ at the latter budget. Controlled response-length and Math100 domain shifts expose the limits of zero-retraining transfer. Component analysis reveals a task-dependent spectral division of labor: DC dominates dynamic source identity, while first AC dominates static relationship evidence. Their joint fingerprint provides a shared measurement space for both tasks. READER audits observed text without target internals or audit-only queries. Code and data are available at https://github.com/LeoJeshua/READER.