피드백 증강 자기 증류가 검색 기반 에이전트의 성능 향상에 실패하는 이유는 무엇인가?

Why Does Feedback-Augmented Self-Distillation Fail to Improve Retrieval-Interleaved Search Agents?

온라인 자기 증류(OPSD)는 별도의 교사 모델 없이 대규모 언어 모델을 학습시키는 유망한 방법입니다. 그러나 복잡한 에이전트 작업에서의 효과성은 아직 널리 연구되지 않았습니다. 본 논문에서는 성공적인 시연 데이터를 우선 정보로 활용하는 에이전트 검색을 위한 자기 증류 알고리즘인 피드백 증강 자기 증류(FA-SD)를 구현했습니다. 우리는 모델들이 반복적인 추론 및 검색 출력 패턴에 의존하여 다양한 것처럼 보이는 경로를 생성하지만, 실제로는 입력 질문과 거의 관련 없는 경우 KL 기반의 자기 증류 신호가 유용하지 않다는 것을 확인했습니다. 이러한 현상을 '디코딩 붕괴(decoding collapse)'라고 명명하며, 이는 기존 평가 지표로는 감지하기 어려운 실패 모드입니다. 이 현상의 근본적인 원인을 이해하기 위해, 자체 교사 모델이 더 나은 성능을 달성하더라도 학습 과정 자체가 일관성 없는 지도 신호로 인해 본질적으로 불안정하다는 것을 보여줍니다. 우리는 이러한 불일치를 모델 불일치와 프롬프트 불일치로 세분화하고, 후자가 지도 신호의 품질을 크게 저하시켜 자체 교사 학습의 효과를 제한한다는 것을 입증합니다. 이러한 불일치를 완화하기 위해, 자체 교사의 안정성을 높이고 더욱 일관된 지도 신호를 제공하기 위해 지수 이동 평균(EMA) 교사 모델을 도입했습니다. EMA 교사는 성능이 일시적으로 저하될 수 있는 초기 단계가 필요하지만, 궁극적으로 더 안정적인 지도를 제공하여 모델의 성능을 향상시킵니다.

On-policy self-distillation (OPSD) offers a promising approach for training large language models without relying on a separate teacher model. However, its effectiveness on complex agentic tasks remains largely unexplored. In this work, we instantiate Feedback-Augmented Self-Distillation (FA-SD), a self-distillation algorithm for agentic search that leverages successful demonstrations as privileged information. We identify that models can rely on recurring reasoning-and-search output templates, producing trajectories that appear diverse but are largely agnostic to the input question, making the KL-based self-distillation signal uninformative. We term this phenomenon decoding collapse, a failure mode that can be missed by existing evaluation metrics. To understand its underlying cause, we show that although the self-teacher achieves stronger performance, learning remains inherently unstable due to inconsistent supervision signals. We further decompose this inconsistency into model inconsistency and prompt inconsistency, and show that the latter can significantly degrade the quality of the supervision signal, limiting the effectiveness of self-teacher learning. To mitigate this inconsistency, we introduce an exponential moving average (EMA) teacher to stabilize the self-teacher and provide more consistent supervision signals. Although the EMA teacher requires a warm-up phase during which performance may temporarily regress, it ultimately improves model performance by providing more stable supervision.