특혜를 받는 듯하지만 편향된 결과: PI(Privileged Information) 조건부 교사가 자기 증류(Self-Distillation) 방식을 어떻게 망치는가

Privileged, but Biased: How PI-Conditioned Teachers Break Self-Distillation

자기 증류(SD)는 검증 가능한 보상을 사용하는 강화 학습의 효율적인 대안으로 등장했습니다. SD에서는 '자기 교사'가 정답에 대한 특혜 정보(PI), 예를 들어 참조 솔루션,를 기반으로 학생 모델에게 세밀한 토큰 단위의 지침을 제공합니다. 하지만 보고된 이점은 대부분 제한적이고 난이도가 낮은 환경에서만 나타나며, 다음과 같은 근본적인 질문을 남깁니다: 보상 항 없이 SD는 실제로 어떤 것을 가르치는가? 우리는 SDPO에서 보고된 이점을 간단한 설정에서 재현한 다음, 동일한 설정을 어려운 작업에 적용하여 SD가 효과가 없음을 확인했습니다. 질의응답, 수학, 코딩 및 다중 턴 에이전트 도구 사용 등 다양한 영역에서, 다양한 추론 방식, 모델 크기 및 PI 형태, 그리고 SDPO 및 OPSD 레시피 모두에서 토큰 단위 손실은 꾸준히 감소하는 반면 검증 정확도는 향상되지 않고 오히려 일반적으로 저하됩니다. 우리는 손실과 생성되는 모델 사이의 인과 관계를 통해 이러한 실패를 설명합니다. 이 과정은 PI 편향으로 시작됩니다. 자기 교사는 특정 참조 솔루션을 학습했기 때문에 토큰 단위 목표가 일반적인 정답이 아닌 해당 경로에 맞춰집니다. 우리는 이를 PI 편향 점수로 정량화했습니다. 학생 모델은 이 목표에 일치하도록 훈련되기 때문에, 생성된 결과의 정확성에 대한 인지 능력이 거의 떨어지고 손실은 주로 불용어, 구두점 또는 불확실성 표시와 같은 정보가 부족한 토큰에 집중됩니다. 올바른 결과에서 탐색적인 토큰은 가장 높은 발산을 나타내므로 추론에 필요한 망설임을 처벌하게 됩니다. 그 결과, 학생 모델은 더욱 평탄하고 결단력이 부족하며 추론 능력이 향상되지 않습니다. 단일 목표로 사용할 때 SD는 과제 성공과 분리된 신호를 최적화합니다.

Self-distillation (SD) has emerged as a compute-efficient alternative to reinforcement learning with verifiable rewards: a self-teacher, conditioned on privileged information (PI) about the answer such as a reference solution, supplies dense per-token supervision to a student that never sees it. Reported gains, however, come almost exclusively from narrow, low-difficulty settings, leaving open a basic question: as a lone objective, with no reward term, does SD teach anything? We reproduce SDPO's reported gains in its easy setting, then apply the identical setup to difficult tasks and find that it does not. Across question answering, mathematics, coding, and multi-turn agentic tool use, across reasoning modes, model sizes, and forms of PI, and under both the SDPO and OPSD recipes, the per-token loss falls steadily while validation accuracy does not improve and typically degrades. We explain this failure through a single causal chain from the loss to the model it produces. The chain begins with PI bias: having seen one particular reference solution, the teacher's per-token target is pulled toward that trajectory rather than toward correctness in general, an effect we quantify with a PI Bias Score. Trained to match this target everywhere, the student's objective becomes nearly blind to whether a rollout is correct, and the loss it assigns falls mostly on low-information tokens like stopwords, punctuation, uncertainty markers, rather than those that determine the answer; within correct rollouts the exploratory tokens incur the highest divergence, so it penalizes the hesitation that reasoning requires. The result is a flatter, less decisive student that is no better at reasoning: as a lone objective, SD optimizes a signal decoupled from task success.