프록시 탐색 및 재사용 가능한 지침: 프록시 기반 업데이트 신호를 통한 모듈화된 LLM 사후 학습 패러다임

Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update

대규모 언어 모델(LLM)의 도메인 특화 능력을 개선하는 데 필수적인 사후 학습은 기존의 보상 최적화 및 분포 정합 방법에서 정책 탐색과 분포 정렬이 긴밀하게 결합되어 있습니다. 이러한 결합은 정책 모델에 직접적으로 비용이 많이 드는 탐색을 강제하며, 최적화 신호의 비동기 생성, 재사용 및 모델 간 전송을 심각하게 저해합니다. 본 논문에서는 업데이트 신호 탐색과 분포 정렬을 근본적으로 분리하는 새로운 사후 학습 프레임워크인 프록시 기반 업데이트 신호 전송(PUST)을 제안합니다. PUST는 주요 모델 대신 경량화된 프록시 모델을 효율적인 테스트베드로 사용하여 높은 보상을 얻는 행동을 발견합니다. 프록시 모델의 초기 상태와 최적화된 상태 간의 상대적인 개선 신호를 추출하고, 이 방향성 업데이트를 주요 모델에 전달하여 정책 정렬을 안내합니다. 프록시 탐색, 업데이트 신호 추출 및 신호 전송으로 구성된 이러한 분리된 파이프라인은 계산 오버헤드를 크게 줄이고 최적화 신호가 비동기적으로 생성, 캐싱되고 재사용될 수 있도록 합니다. 더욱 중요한 점은 PUST는 절대적인 정책 분포 대신 상대적인 개선을 전송함으로써 약한 모델에서 강한 모델로의 개선 및 원활한 모델 간 전송을 자연스럽게 지원합니다. Qwen3 패밀리 모델에 대한 체계적인 평가 결과, 훨씬 성능이 낮은 프록시 모델에서 추출된 업데이트 신호가 강력한 주요 모델을 안정적이고 조절 가능하게 향상시키는 것으로 나타났습니다. 궁극적으로 PUST는 사후 학습을 단일 온라인 최적화 프로세스에서 매우 모듈화되고 재사용 가능하며 비용 효율적인 패러다임으로 전환합니다.

Post-training for large language models typically couples policy exploration with model optimization, hindering the reuse of high-reward behaviors from policy exploration. While on-policy distillation alleviates this by consolidating independently optimized experts, its reliance on matching absolute expert distributions can yield suboptimal supervision, especially when the target model possesses a different prior or already surpasses the expert's capabilities. To alleviate this, we introduce Proxy OPD (P-OPD), an asynchronous post-training framework that transfers reward-induced policy improvements rather than absolute policy distributions. P-OPD first optimizes a proxy policy via reward feedback. It then extracts the relative distributional changes between the proxy's initial and optimized states, transferring these directional updates through the target model's own on-policy trajectories while retaining the target policy as the reference. This decoupled formulation requires the proxy to provide merely a useful direction of improvement rather than superior absolute capability, enabling update signals from older or weaker proxies to remain highly effective. Systematic experiments on Qwen3-family models across mathematical reasoning and code generation demonstrate that P-OPD consistently enhances already strong target models. Furthermore, transfer intensity can be dynamically modulated through signal scaling, making the extracted update signals seamlessly reusable across diverse model variants and training configurations. These results establish relative policy updates as highly reusable, adjustable assets for scalable, reward-based post-training.