최고의 교사를 넘어: 추론 솔루션 매니폴드의 확장 및 압축

Beyond the Best Teacher: Expanding and Compressing the Reasoning Solution Manifold

단일 강화 학습(Reinforcement Learning, RL) 실행은 강력한 추론 능력을 갖춘 모델을 생성할 수 있지만, 종종 유효한 해결 방법 중 일부만 증폭시키는 불완전한 교사를 만들기도 합니다. 우리는 강화 학습으로 훈련된 정책이 전역적으로 신뢰할 수 있는 감독자가 아니라, 다중 베이스라인(multi-basin) 추론 솔루션 매니폴드의 로컬 탐침(local probe)으로 간주되어야 한다고 주장합니다. 이러한 관점을 바탕으로, 교사 구축과 멀티 티처 정책 증류를 결합하는 확장-압축 프레임워크를 제안합니다. 확장 단계에서는 Residual Group Relative Policy Optimization (RGRPO)이 공통 초기값에서 일련의 교사를 훈련하고, 각 후속 라운드는 누적된 교사 집합에 의해 아직 다루어지지 않은 예제들을 향하도록 합니다. 압축 단계에서는 신뢰성 게이트(reliability-gated)를 적용한 Teacher-Union On-policy Distillation (TU-OPD)을 사용하여 학생 모델이 자신의 응답 접두사(response prefixes)로부터 학습하도록 합니다. 각 예시에 대해, 신뢰할 수 있는 교사만 기여하며, 이들의 샘플링된 토큰(sampled-token)에 대한 OPD 손실은 개별 예시의 품질에 따라 가중치가 부여됩니다. 또한, Consensus-Residual Decomposition을 도입하여 우승 교사가 신뢰 가능한 동료들에 비해 선호하는 특정 토큰들을 보존함으로써, 교사 집계 과정에서 특화된 행동이 억제되는 것을 방지합니다. 수학적 추론, 코드 생성 및 지시 따르기(instruction following)에 대한 실험 결과, 제안된 Qwen3-1.7B 학생 모델은 세 가지 영역 모두에서 가장 강력한 개별 교사보다 꾸준히 우수한 성능을 보이며, 각각 2.0%, 8.3% 및 6.9%의 상대적인 성능 향상을 달성했습니다. 이러한 결과는 간단하지만 강력한 원리를 보여줍니다. 즉, 더 나은 학생 모델은 단일하고 더 나은 교사를 선택하는 것이 아니라, 상호 보완적인 교사 집합을 의도적으로 구축하고 압축함으로써 얻을 수 있습니다.

A single reinforcement-learning run can produce a strong reasoner yet an incomplete teacher: it often amplifies only a subset of the valid solution modes. We argue that reinforcement learning (RL)-trained policies should therefore be viewed as local probes of a multi-basin reasoning solution manifold, rather than as globally reliable supervisors. Based on this view, we propose an expand-then-compress framework that couples teacher construction with multi-teacher policy distillation. In the expansion stage, Residual Group Relative Policy Optimization (RGRPO) trains a sequence of teachers from a common initialization and redirects each later round toward examples not yet covered by the accumulated teacher union. In the compression stage, reliability-gated Teacher-Union On-policy Distillation (TU-OPD) lets the student learn from its own response prefixes. For each example, only reliable teachers contribute, and their sampled-token OPD losses are weighted by their per-example quality. We further introduce Consensus-Residual Decomposition, which preserves a winner teacher's excess token preferences over its reliable peers, preventing specialist behavior from being suppressed during teacher aggregation. Experiments on mathematical reasoning, code generation, and instruction following show that the resulting Qwen3-1.7B student consistently outperforms the strongest individual teacher across all three domains, yielding relative improvements of 2.0%, 8.3%, and 6.9%, respectively, while retaining single-model inference. These results establish a simple but powerful principle: stronger students can be obtained not by selecting a single better teacher, but by deliberately constructing and compressing a complementary teacher union.