TextCloak: 강화학습 기반의 학습 불가능한 텍스트를 활용한 무단 LLM 악용 방지

TextCloak: Thwarting Unauthorized LLM Exploitation via RL-Driven Unlearnable Text

대규모 언어 모델(LLM)의 급속한 발전은 다양한 자연어 처리 작업에서 상당한 발전을 가져왔지만, 동시에 무단 데이터 악용 및 개인 정보 유출에 대한 우려도 커지고 있습니다. 학습 불가능한 예제(UEs)는 신중하게 설계된 변형을 데이터에 도입하여 모델이 학습할 때 성능 저하를 일으키도록 함으로써 유망한 방어 수단을 제공합니다. 그러나 기존의 텍스트 보호 방법은 주로 판별적 언어 모델에서의 분류 작업(예: 감성 분석)을 위해 설계되었으며, 종종 클래스별 언어적 단서를 주입하는 방식으로 작동하여 LLM의 개방형 생성 환경에서는 효과가 제한적입니다. 본 연구에서는 TextCloak이라는 강화학습 기반 프레임워크를 제안합니다. TextCloak은 생성 정책을 활용하여 깨끗한 텍스트 배치에서 학습 불가능한 예제를 생성하면서 의미론적 충실도와 언어적 자연스러움을 유지합니다. 이 정책을 최적화하기 위해, GRPO-UE를 도입합니다. GRPO-UE는 생성된 학습 불가능한 텍스트가 미세 조정된 대리 LLM에 미치는 성능 저하를 기준으로 보상을 제공하고, 그룹 상대 정책 최적화를 통해 생성기 파라미터를 업데이트합니다. 이러한 양방향 최적화는 생성기가 클래스별 단서 이상의 일반적인 보호 패턴을 발견하도록 합니다. 공개적으로 사용 가능한 여섯 개의 데이터 세트와 최첨단 LLM 아홉 개를 사용하여 실시한 광범위한 실험 결과, TextCloak은 무단 미세 조정을 지속적으로 방해하면서도 합법적인 사용을 위한 텍스트의 유용성을 유지하는 것으로 나타났습니다. 추가 분석을 통해 다양한 모델 아키텍처, 학습 구성 및 적응 공격에 대한 전이성과 견고성이 입증되었으며, 이는 TextCloak이 무단 LLM 악용 방지를 위한 실용적인 방어 기술로서 광범위하게 적용될 수 있음을 보여줍니다.

The rapid development of Large Language Models (LLMs) has led to significant advances across a wide range of language tasks, while simultaneously raising growing concerns about unauthorized data exploitation and privacy leakage. Unlearnable examples (UEs) offer a promising defense by introducing carefully designed perturbations into data such that models trained on them exhibit degraded utility. However, existing methods for text protection are primarily designed for classification tasks (e.g., sentiment analysis) in discriminative language models and often rely on injecting class-specific linguistic cues, which limits their effectiveness in the open-ended generation settings of LLMs. In this work, we propose TextCloak, an RL-driven framework for protecting textual data against unauthorized LLM exploitation. TextCloak employs a generative policy that transforms batches of clean text into unlearnable examples while preserving semantic fidelity and linguistic naturalness. To optimize the policy, we introduce GRPO-UE, which rewards generated unlearnable text based on the downstream degradation they induce in fine-tuned surrogate LLMs and updates the generator parameters via group-relative policy optimization. This bi-level optimization enables the generator to discover generalizable protective patterns beyond class-specific cues. Comprehensive experiments on six publicly available datasets and nine state-of-the-art LLMs demonstrate that TextCloak consistently impairs unauthorized fine-tuning while maintaining text utility for legitimate use. Further analyses establish its transferability and robustness across model architectures, training configurations, and adaptive attacks, highlighting its broad applicability as a practical defense against unauthorized LLM exploitation.