대규모 언어 모델 사전 학습을 위한 확장 가능한 빈도 및 길이 기반 하위 문서 중복 제거

Scalable Frequency- and Length-Aware Subdocument Deduplication for Large Language Model Pretraining

대규모 사전 학습 데이터에는 상당량의 중복된 내용이 포함되어 있습니다. 문서 수준의 중복 제거는 널리 사용되지만, 하위 문서 수준의 중복 제거는 여전히 어려운 과제입니다. 일반적으로 샤드 내에서 개별적으로 서피스 배열 기반 방법을 사용하여 처리하지만, 이 방법은 샤드 간의 중복을 감지하지 못하며, 결과적으로 보존되는 데이터 양이 샤딩 구성에 민감하게 반응합니다. 해시 기반 방법은 글로벌 정확한 중복 계산을 가능하게 하지만, 종종 고정된 복사본 보존 정책에 의존하여 다양한 반복 패턴을 수용할 수 없습니다. 우리는 중복 감지와 복사본 보존을 분리하는 확장 가능한 하위 문서 중복 제거 프레임워크를 제안합니다. 이 프레임워크는 자연스러운 경계를 기준으로 세분화하고, 정규화된 정확한 해싱 및 분산 집계를 사용하여 중복 그룹을 식별한 다음, 각 그룹에 적응적인 복사본 예산을 할당하는 명시적인 빈도 및 길이 기반 보존 정책을 적용합니다. 이를 통해 낮은 빈도 또는 짧은 반복의 경우 더 많은 복사본을 유지하고, 높은 빈도 또는 긴 반복의 경우 더 적극적으로 삭제합니다. FineWeb-Edu 및 코드 포함 웹 데이터 코퍼스를 사용한 실험 결과, 저희 방법으로 처리된 데이터를 사용하여 학습된 모델이 평가된 모든 설정 중에서 가장 우수한 전반적인 성능을 달성했습니다. 이러한 결과는 명시적인 복사본 보존 제어의 중요성을 강조합니다.

Large-scale pretraining corpora contain substantial duplicate content. Although document-level deduplication is widely used, removing subdocument-level redundancy remains challenging. At corpus scale, suffix-array-based methods are commonly applied independently within shards, leaving cross-shard duplicates undetected and making the resulting retention behavior sensitive to the sharding configuration. Hash-based methods enable global exact duplicate counting, but often rely on fixed copy-retention policies that cannot accommodate heterogeneous repetition patterns. We propose a scalable subdocument deduplication framework that decouples duplicate detection from copy retention. It identifies duplicate groups through natural-boundary segmentation, normalized exact hashing, and distributed aggregation, and then applies an explicit frequency- and length-aware retention policy that allocates an adaptive copy budget to each group, retaining more copies of low-frequency or short repetitions while more aggressively deleting high-frequency or long ones. Experiments on FineWeb-Edu and a code-containing web corpus show that models trained on data processed by our method achieve the best overall performance among the evaluated settings. These results underscore the importance of explicit copy-retention control.