ISO: 강화 학습 기반 검증 가능한 보상(RLVR)을 위한 최적화 스택

ISO: An RLVR-Native Optimization Stack

검증 가능한 보상을 활용한 강화 학습(RLVR)은 언어 모델의 추론 능력을 빠르게 발전시키고 있지만, 보상 피드백을 가중치 공간 업데이트로 변환하는 최적화 계층에 대한 이해는 여전히 부족합니다. 본 연구는 이전 분석(Zhu et al., 2025)을 바탕으로, 모델 가중치의 고유 구조를 통해 이 누락된 계층을 연구하고, '스펙트럼 상속' 현상을 밝혀냅니다. RLVR은 기본 모델의 가중치 스펙트럼을 재사용하면서, 관련 입력 및 출력 고유 벡터 프레임의 변화를 통해 새로운 행동을 학습할 수 있습니다. 본 연구는 이러한 스펙트럼 상속 개념을 '등스펙트럴 최적화(ISO)'라는 RLVR 전용의 고정 스펙트럼 최적화 프레임워크로 구현했습니다. ISO는 오프라인 및 온라인 방식으로 작동합니다. 오프라인 방식인 ISO-Merger는 공유 기본 모델의 다양한 전문가들의 프레임 변화를 단일한 고정 스펙트럼 모델로 통합하며, 추가 데이터, 시뮬레이션, 그래디언트 업데이트 또는 온폴리시 증류(OPD) 과정이 필요하지 않습니다. 이는 상호 보완적인 전문가 능력을 복구하고, 비교된 다른 데이터 불필요 병합 방법들 중 가장 뛰어난 전체 성능을 달성합니다. 온라인 방식인 ISO-Optimizer는 AdamW 및 Muon과 같은 기존 최적화 알고리즘을 선택하여 프레임 변수에 적용하면서 기본 스펙트럼을 고정 상태로 유지합니다. 15억 개에서 80억 개의 파라미터를 가진 다양한 추론 및 코딩 작업에서 ISO-Optimizer는 보고된 실험 결과에서 정확도를 향상시키고, 훨씬 적은 학습 단계를 사용하여 동등한 성능을 달성했습니다. Qwen3-8B-Base 모델의 경우, AdamW는 270개의 학습 단계 후 집계 정확도 0.495를 달성합니다. ISO-AdamW는 동일한 정확도를 100개의 학습 단계로 달성하고, 210개의 학습 단계 후에는 정확도가 0.509로 더욱 향상됩니다. 종합적으로 볼 때, ISO는 RLVR의 누락된 최적화 계층에 대한 구체적인 해결책을 제시합니다. 즉, 사전 학습된 최적화를 그대로 사용하는 대신, 보상 기반 적응의 구조를 중심으로 사후 학습을 설계해야 합니다: 스펙트럼은 상속하고, 프레임은 최적화해야 합니다.

Reinforcement learning with verifiable rewards (RLVR) is rapidly advancing the reasoning capabilities of language models, yet the optimization layer that converts reward feedback into weight-space updates remains poorly understood. Building on our prior analysis (Zhu et al., 2025), we study this missing layer through the singular structure of model weights and identify spectral inheritance: RLVR can reuse the base model's weight spectra while acquiring new behavior through changes in the associated input and output singular frames. We operationalize spectral inheritance as Isospectral Optimization (ISO), an RLVR-native, fixed-spectrum optimization framework with complementary offline and online instantiations. Offline, ISO-Merger combines the frame changes of shared-base specialists into a single fixed-spectrum model, requiring no post-merge data, rollouts, gradient updates, or on-policy distillation (OPD). It recovers complementary specialist capabilities and achieves the strongest aggregate performance among the compared data-free merging methods. Online, ISO-Optimizer applies a chosen base optimizer, including AdamW and Muon, to the frame variables while keeping the base spectra fixed. Across reasoning and coding tasks ranging from 1.5B to 8B parameters, ISO-Optimizer improves accuracy in the reported runs and reaches matched scores with substantially fewer training steps. On Qwen3-8B-Base, AdamW reaches an aggregate accuracy of 0.495 after 270 training steps. ISO-AdamW reaches the same accuracy after only 100 training steps and improves further to 0.509 after 210 training steps. Together, ISO offers a concrete answer to RLVR's missing optimization layer: rather than inheriting pre-training optimization wholesale, design post-training around the structure of reward-driven adaptation: inherit the spectrum, optimize the frames.