MIRA: 중간 학습 단계에서의 기준점 고정 기반 소스 인식 데이터 선택 방법

MIRA: Mid-training Rubric Anchoring for Source-Aware Data Selection

중간 학습은 현대 LLM 개발에서 중요한 단계로, 최종 후속 학습 전에 대규모의 선별된 데이터를 활용하여 성능을 강화합니다. 이 과정에서 발생하는 데이터 선택 문제는 기존 방식과 다릅니다. 왜냐하면 데이터는 사전 학습 스타일의 목표를 기반으로 거의 사전 학습 수준에서 최적화되지만, 동시에 다운스트림 작업에 적합하도록 큐레이션되며 다양한 형식과 학습 역할을 가진 이질적인 소스로부터 수집되기 때문입니다. 따라서 효과적인 선택을 위해서는 확장성과 소스에 맞는 의미론적 기준 모두가 필요합니다. 기존의 모델 기반 방법은 확장성이 뛰어나지만, 품질에 대한 명시적인 신호는 부족합니다. 의미론적 선택 방법은 더 강력한 판단을 제공하지만, 일반적으로 고정된 기준이나 표준화된 데이터 형식을 가정합니다. 이러한 불일치를 해결하기 위해, 우리는 자기 참조(self-anchored) 기반의 기준점 발견을 통해 소스 정보를 활용하는 필터링 프레임워크인 MIRA를 제안합니다. 핵심 아이디어는 기준점 구축을 데이터 선택 과정에 포함시키는 것입니다. MIRA는 먼저 각 소스 그룹별로 평가해야 할 사항을 파악한 후, 이러한 판단들을 대규모 코퍼스를 필터링할 수 있는 효율적인 학생 모델(student scorer)로 변환합니다. 21개의 소스와 5개의 소스 그룹으로 구성된 코드 관련 중간 학습에서 MIRA는 9가지 코드 벤치마크에서 기존 데이터 선택 방법보다 우수한 성능을 보였으며, 전체 코퍼스를 사용하는 방식과 동일한 수준의 결과를 얻으면서도 데이터 사용량을 절반으로 줄였습니다.

Mid-training has become an important stage in modern LLM development, using large-scale curated mixtures to strengthen capabilities before final post-training. Its data selection problem is distinct: the data are optimized under a pretraining-style objective at near-pretraining scale, but are curated toward downstream capabilities and drawn from heterogeneous sources with different formats and training roles. As a result, effective selection requires both scalability and source-adaptive semantic criteria. Existing model-based methods scale well, but provide only implicit quality signals. Semantic selection methods offer stronger judgments, but usually assume fixed rubrics or standardized data formats. To address this mismatch, we propose MIRA, a source-aware filtering framework based on self-anchored rubric discovery. The key idea is to make rubric construction part of data selection: MIRA first discovers what should be evaluated for each source group, then distills those judgments into scalable student scorers for full-corpus filtering. On code-oriented mid-training with 21 sources and 5 source groups, MIRA outperforms selection baselines across nine code benchmarks and matches the full-corpus run while using only half the tokens.