LLM 강화 학습 후처리 과정에서 저렴한 비용으로 오류 재현 및 진단을 위한 MoE 프록시 모델

MoE Proxy Models for Low-Cost Failure Reproduction and Diagnosis in LLM RL Post-Training

대규모 언어 모델(LLM)의 강화 학습(RL) 후처리 과정은 계산량이 매우 많으며 복잡한 시스템 파이프라인을 포함하여 상당한 디버깅 부담을 야기합니다. 실제로는 프레임워크 적용, 수치 정밀도 및 연산자 구현과 같은 요인으로 인해 그래디언트 오버플로우 및 손실 발산과 같은 오류가 발생할 수 있습니다. 이러한 오류를 대규모 모델에서 직접 재현하는 데는 상당한 시간과 컴퓨팅 자원이 필요합니다. 본 논문에서는 화웨이 Ascend 플랫폼에서 대규모 RL 훈련 중에 발생하는 오류를 체계적으로 분석하고, 대표적인 오류 유형을 요약하며, 오류 재현에 관련된 세 가지 모델 측면 요인을 식별합니다. 이러한 요인들을 기반으로, 저렴한 비용으로 오류 조사 및 보조 진단을 수행할 수 있는 프록시 모델 구축 방법을 제안합니다. 이 방법은 구조를 유지하면서 클러스터링 기반 전문가 가지치기를 사용하여 대표적인 전문가를 선택하고, 모델의 핵심 아키텍처, 라우팅 메커니즘 및 기본적인 작업 능력을 유지합니다. 실험 결과는 제안된 프록시 모델이 가속기 요구 사항을 50%-87.5%까지 줄이고, 단계별 NPU 시간 비용을 최대 33.3배 절감하는 동시에 주요 학습 동역학을 유지하고 원래 모델과 일관된 오류 반응을 재현함을 보여줍니다. 전체적으로, 제안된 프록시 모델은 RL 후처리 과정에서 오류 재현, 대상 검증 및 보조 진단을 위한 저렴한 대체 수단으로 활용될 수 있습니다.

Reinforcement learning (RL) post-training of large language models (LLMs) is computationally intensive and involves complex system pipelines with substantial debugging overhead. In practice, factors such as framework adaptation, numerical precision, and operator implementation can cause failures, including gradient overflow and loss divergence. Reproducing such failures directly on large models requires considerable time and computational resources. This paper systematically analyzes failures encountered during large-scale RL training on the Huawei Ascend platform, summarizes representative failure types, and identifies three model-side factors relevant to fault reproduction. Based on these factors, we propose a proxy-model construction method for low-cost fault investigation and auxiliary diagnosis. It employs structure-preserving, clustering-based expert pruning to select representative experts while retaining the model's backbone architecture, routing mechanism, and basic task capabilities. Our experimental results show that the proxy models reduce accelerator requirements by 50%-87.5% and achieve up to a 33.3x reduction in per-step NPU-hour cost, while preserving major training dynamics and reproducing fault responses consistent with the original models. Overall, the proxy models can serve as low-cost surrogates for fault reproduction, targeted validation, and auxiliary diagnosis in RL post-training.