SDO: 효율적인 LLM 후속 학습을 위한 구조 기반 데이터 구성

SDO: Structure-Aware Data Organization for Efficient LLM Post-Training

대규모 언어 모델의 후속 학습은 비용이 많이 들며, 기존의 효율성 향상 방법들은 주로 유용한 샘플 선택 또는 학습 스케줄 설계에 초점을 맞추고 있습니다. 그러나 일반적으로 데이터 구성 자체는 정적인 전처리 단계로 취급되며, 임베딩 기반 그룹화 방법은 학습 전에 고정된 파티션을 생성하므로 최적화 과정에서 변화하는 샘플 노출에 적응할 수 없습니다. 그 결과, 모든 샘플이 유사한 수준의 노출을 받게 되지만, 각 샘플의 최적화 요구 사항은 다르기 때문에 일부 샘플은 불필요한 업데이트를 받는 반면, 다른 샘플은 충분히 최적화되지 않습니다. 이러한 문제를 해결하기 위해, 우리는 구조 기반 데이터 구성 프레임워크인 SDO (Structure-Aware Data Organization)를 제안합니다. SDO는 노출 중심 피드백 메커니즘을 통해 미니 배치 구성과 샘플 노출을 표현 공간의 구조에 따라 조정하며, 플러그 앤 플레이 방식으로 사용할 수 있습니다. SDO는 각 에포크마다 고정된 외부 임베딩을 사용하여 모델 워밍업 학습 오버헤드를 피합니다. 각 에포크 내에서, 지역성 인지 배치 구성은 KNN 이웃 탐색을 통해 일관성 있는 미니 배치를 형성하며, 에포크 간에는 노출 균형 스케줄링을 통해 샘플의 참여도를 기록하고 과도하게 노출된 샘플의 샘플링 확률을 줄여 장기적인 커버리지를 유지합니다. SFT, DPO 및 GRPO 실험에서 SDO는 수렴 속도를 향상시키며, 특히 초기 단계에서 가장 큰 효과를 보입니다. SDO는 더욱 일관성 있는 기울기를 생성하고 질문 유형 간의 정확성을 균형 있게 유지하면서도 학습 샘플을 영구적으로 제외하지 않습니다.

Post-training of large language models is expensive, and existing efficiency improvements mainly focus on selecting informative samples or designing training schedules. However, data organization itself is usually treated as a static preprocessing step: embedding-based grouping methods construct fixed partitions before training and cannot adapt to the evolving sample exposure during optimization. As a result, all samples receive similar exposure despite their different optimization needs, leading to redundant updates for some samples while leaving others under-optimized. To address this problem, we propose SDO (Structure-Aware Data Organization), a plug-and-play data organization framework with an exposure-driven feedback mechanism that organizes mini-batch composition and sample exposure according to representation-space structure. SDO operates epoch by epoch on frozen external embeddings, avoiding model warm-up training overhead: within each epoch, locality-aware batching forms coherent mini-batches via KNN neighborhood traversal; across epochs, exposure-balanced scheduling records per-sample participation and reduces the sampling probability of over-exposed samples to preserve long-term coverage. Across SFT, DPO, and GRPO, SDO accelerates convergence, with the largest gains observed in the early-to-mid phase, producing more coherent gradients and more balanced accuracy across question types without permanently excluding training samples.