작은 마진의 선호도 역시 중요하다: 올바른 학습 방식을 적용한다면

Small-Margin Preferences Still Matter-If You Train Them Right

DPO와 같은 선호도 최적화 방법은 쌍별 비교를 통해 대규모 언어 모델(LLM)을 정렬(align)하지만, 그 효과는 선호도 쌍의 품질과 난이도에 매우 민감할 수 있습니다. 일반적인 휴리스틱은 마진이 작은(모호한) 쌍을 노이즈로 간주하여 필터링해 버립니다. 본 논문에서는 이러한 가정을 재검토하고, 데이터 쌍의 난이도가 최적화 목표(objective)와 밀접하게 상호작용한다는 점을 밝힙니다. 즉, 선호도 기반 손실함수로 학습할 때 어려운 쌍은 학습을 불안정하게 만들고 정렬을 저해할 수 있지만, 지도 미세 조정(SFT)으로 최적화할 경우 동일한 쌍이 여전히 유용한 지도 신호를 제공한다는 것입니다. 이러한 관찰에 기반하여, 우리는 간단하면서도 효과적인 난이도 인식 학습 전략인 MixDPO를 제안합니다. MixDPO는 (i) 선호도 데이터를 쉬운 것부터 어려운 순서로 정렬(마진으로 정의된 난이도에 기반한 커리큘럼)하고, (ii) 어려운 쌍은 SFT 목표로 보내고 쉬운 쌍에는 선호도 손실을 적용합니다. 이러한 하이브리드 설계는 낮은 마진 데이터에 선호도 손실을 적용할 때 흔히 발생하는 최적화 실패를 겪지 않으면서도 모호한 쌍을 활용할 수 있는 실용적인 메커니즘을 제공합니다. 세 가지 LLM 심사 벤치마크 전반에서 MixDPO는 DPO 및 널리 사용되는 여러 변형 모델들에 비해 일관되게 향상된 정렬 성능을 보여주었으며, 특히 AlpacaEval 2 길이 제어(LC) 승률에서 강력한 개선을 기록했습니다.

Preference optimization methods such as DPO align large language models (LLMs) using paired comparisons, but their effectiveness can be highly sensitive to the quality and difficulty of preference pairs. A common heuristic treats small-margin (ambiguous) pairs as noisy and filters them out. In this paper, we revisit this assumption and show that pair difficulty interacts strongly with the optimization objective: when trained with preference-based losses, difficult pairs can destabilize training and harm alignment, yet these same pairs still contain useful supervision signals when optimized with supervised fine-tuning (SFT). Motivated by this observation, we propose MixDPO, a simple yet effective difficulty-aware training strategy that (i) orders preference data from easy to hard (a curriculum over margin-defined difficulty), and (ii) routes difficult pairs to an SFT objective while applying a preference loss to easy pairs. This hybrid design provides a practical mechanism to leverage ambiguous pairs without incurring the optimization failures often associated with preference losses on low-margin data. Across three LLM-judge benchmarks, MixDPO consistently improves alignment over DPO and a range of widely-used variants, with particularly strong gains on AlpacaEval~2 length-controlled (LC) win rate.