더 적을수록 충분하다: LLM의 특징 공간에서 다양한 데이터를 합성하는 방법

Less is Enough: Synthesizing Diverse Data in Feature Space of LLMs

대규모 언어 모델(LLM)의 효과적인 성능을 위해서는 학습 후 추가 데이터의 다양성이 매우 중요합니다. 기존의 많은 방법들은 언어적 변이를 포착하는 텍스트 기반 지표를 사용하여 데이터의 다양성을 측정하지만, 이러한 지표는 하위 작업 성능을 결정하는 작업 관련 특징에 대한 약한 신호만을 제공합니다. 본 연구에서는 해석 가능한 특징 공간에서 데이터의 다양성을 측정하는 Feature Activation Coverage (FAC)라는 새로운 지표를 제시합니다. 이 지표를 바탕으로, 우리는 FAC Synthesis라는 데이터 합성 프레임워크를 제안합니다. 이 프레임워크는 먼저 희소 오토인코더를 사용하여 초기 데이터셋에서 누락된 특징을 식별하고, 그런 다음 이러한 특징을 명시적으로 반영하는 합성 데이터를 생성합니다. 실험 결과, 제안하는 방법은 다양한 작업(예: 지시 따르기, 유해성 탐지, 보상 모델링, 행동 제어)에서 데이터의 다양성과 하위 작업 성능을 지속적으로 향상시키는 것으로 나타났습니다. 흥미롭게도, LLaMA, Mistral, Qwen 등 다양한 모델 계열에서 공유되는 해석 가능한 특징 공간을 발견하여 모델 간 지식 전달을 가능하게 했습니다. 본 연구는 LLM의 데이터 중심 최적화를 위한 견고하고 실용적인 방법론을 제공합니다.

The diversity of post-training data is critical for effective downstream performance in large language models (LLMs). Many existing approaches to constructing post-training data quantify diversity using text-based metrics that capture linguistic variation, but such metrics provide only weak signals for the task-relevant features that determine downstream performance. In this work, we introduce Feature Activation Coverage (FAC) which measures data diversity in an interpretable feature space. Building upon this metric, we further propose a diversity-driven data synthesis framework, named FAC Synthesis, that first uses a sparse autoencoder to identify missing features from a seed dataset, and then generates synthetic samples that explicitly reflect these features. Experiments show that our approach consistently improves both data diversity and downstream performance on various tasks, including instruction following, toxicity detection, reward modeling, and behavior steering. Interestingly, we identify a shared, interpretable feature space across model families (i.e., LLaMA, Mistral, and Qwen), enabling cross-model knowledge transfer. Our work provides a solid and practical methodology for exploring data-centric optimization of LLMs.