선별된 합성 데이터는 반드시 붕괴될 필요가 없다: 다양한 선호도를 활용한 생성 모델 재학습에 대한 이론적 연구

Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences

생성 모델의 반복적인 재학습은 중요한 표현 문제를 야기한다. 즉, 합성 데이터의 출력이 고정된 보상 신호에 기반하여 선별될 때, 모델은 해당 목표를 과도하게 최적화하는 좁은 범위의 출력에 집중되는 경향이 있다. 기존 연구에서는 이러한 붕괴 현상이 현실 데이터 추가 없이는 피할 수 없다고 제안한다. 본 연구에서는 이러한 결론을 정렬 관점에서 재검토하고, 여러 개의 보상 함수를 기반으로 한 선별을 통해 붕괴 현상을 완화할 수 있음을 보여준다. 우리는 이질적인 선호도 하에서의 반복적인 학습 과정을 형식화하고, 특정 조건 하에서 모델이 확률 질량을 경쟁적인 고-보상 영역에 분배하는 안정적인 분포로 수렴한다는 것을 증명한다. 이러한 극한 분포는 다양성을 유지하며, 가중된 내쉬 협상 해를 만족한다는 것이 증명되었으며, 이는 합성 데이터 재학습 루프에서의 가치 집계에 대한 형식적인 해석을 제공한다.

Recursive retraining of generative models poses a critical representation challenge: when synthetic outputs are curated based on a fixed reward signal, the model tends to collapse onto a narrow set of outputs that over-optimize that objective. Prior work suggests that such collapse is unavoidable without adding real data into the mix. We revisit this conclusion from an alignment perspective and show that collapse can be mitigated through curation based on multiple reward functions. We formalize the dynamics of recursive training under heterogeneous preferences and prove that, under certain conditions, the model converges to a stable distribution that allocates probability mass across competing high-reward regions. The limiting distribution preserves diversity and provably satisfies a weighted Nash bargaining solution, offering a formal interpretation of value aggregation in synthetic retraining loops.