RIFT: 보상 기반 미세 조정(Reward-Informed Fine-Tuning)을 통한 부정 샘플 재활용

RIFT: Repurposing Negative Samples via Reward-Informed Fine-Tuning

지도 미세 조정(SFT)과 거부 샘플링 미세 조정(RFT)은 LLM 정렬의 표준 방법이지만, 이들은 비용이 많이 드는 전문가 데이터에 의존하거나 유용한 부정 샘플을 버려 데이터 효율성이 낮다는 단점이 있습니다. 이러한 문제를 해결하기 위해, 저희는 모든 자체 생성 샘플을 활용하는 간단하면서도 효과적인 프레임워크인 보상 기반 미세 조정(RIFT)을 제안합니다. RFT의 하드 임계값 방식과는 달리, RIFT는 부정적인 경로를 재활용하여 모델 출력에서 생성된 양수 및 음수 경로 모두에서 학습할 수 있도록 스칼라 보상을 사용하여 손실을 재가중합니다. 단순한 보상 통합으로 인해 발생하는 학습 붕괴 문제를 해결하기 위해, 저희는 수치적 안정성과 최적화 효율성을 보장하는 안정화된 손실 함수를 도입했습니다. 다양한 기본 모델에 대한 수학적 벤치마크 실험 결과, RIFT는 RFT보다 일관되게 우수한 성능을 보였습니다. 저희의 결과는 RIFT가 혼합 품질의 자체 생성 데이터를 활용한 정렬을 위한 견고하고 데이터 효율적인 대안임을 보여줍니다.

While Supervised Fine-Tuning (SFT) and Rejection Sampling Fine-Tuning (RFT) are standard for LLM alignment, they either rely on costly expert data or discard valuable negative samples, leading to data inefficiency. To address this, we propose Reward Informed Fine-Tuning (RIFT), a simple yet effective framework that utilizes all self-generated samples. Unlike the hard thresholding of RFT, RIFT repurposes negative trajectories, reweighting the loss with scalar rewards to learn from both the positive and negative trajectories from the model outputs. To overcome the training collapse caused by naive reward integration, where direct multiplication yields an unbounded loss, we introduce a stabilized loss formulation that ensures numerical robustness and optimization efficiency. Extensive experiments on mathematical benchmarks across various base models show that RIFT consistently outperforms RFT. Our results demonstrate that RIFT is a robust and data-efficient alternative for alignment using mixed-quality, self-generated data.