언어 모델에서의 개인 정보 모방 현상

Personal Information Parroting in Language Models

최신 언어 모델(LM)은 수백만 개의 개인 정보(PI) 인스턴스를 포함하는 방대한 웹 데이터를 기반으로 학습됩니다. 이러한 모델은 많은 개인 정보를 암기하게 되어, 프라이버시 위험을 증가시킵니다. 본 연구에서는 이메일 주소, 전화번호, IP 주소를 탐지하는 정규 표현식 및 규칙(R&R) 탐지 시스템을 개발하여, 기존의 최적 정규 표현식 기반 PI 탐지 시스템보다 성능이 우수함을 확인했습니다. 수동으로 선별된 483개의 PI 인스턴스를 사용하여 암기 현상을 측정했으며, 그 결과 Pythia-6.9b 모델이 13.6%의 인스턴스를 정확히 암기하는 것으로 나타났습니다. 즉, 모델에 원본 문서에서 PI 앞에 오는 토큰을 입력했을 때, 탐욕적 디코딩을 통해 PI 전체를 정확하게 생성하는 경우입니다. Pythia 모델 제품군의 다양한 크기(160M-6.9B) 및 사전 학습 시간 단계(70k-143k 반복)를 가진 모델에 대한 분석을 확장한 결과, 모델 크기와 사전 학습 시간이 암기 현상과 양의 상관관계를 가지는 것을 확인했습니다. 가장 작은 모델인 Pythia-160m도 2.7%의 인스턴스를 정확히 암기했습니다. 따라서 사전 학습 데이터셋을 적극적으로 필터링하고 익명화하여 PI 암기 현상을 최소화하는 것이 중요하다고 권장합니다.

Modern language models (LM) are trained on large scrapes of the Web, containing millions of personal information (PI) instances, many of which LMs memorize, increasing privacy risks. In this work, we develop the regexes and rules (R&R) detector suite to detect email addresses, phone numbers, and IP addresses, which outperforms the best regex-based PI detectors. On a manually curated set of 483 instances of PI, we measure memorization: finding that 13.6% are parroted verbatim by the Pythia-6.9b model, i.e., when the model is prompted with the tokens that precede the PI in the original document, greedy decoding generates the entire PI span exactly. We expand this analysis to study models of varying sizes (160M-6.9B) and pretraining time steps (70k-143k iterations) in the Pythia model suite and find that both model size and amount of pretraining are positively correlated with memorization. Even the smallest model, Pythia-160m, parrots 2.7% of the instances exactly. Consequently, we strongly recommend that pretraining datasets be aggressively filtered and anonymized to minimize PI parroting.