경로 모방을 넘어: LLM 추론을 위한 전략 기반 정책 최적화

Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning

강력한 언어 모델에서 약한 언어 모델로 추론 능력을 전달하는 일반적인 방법은 특정 해결 경로를 모방하는 것으로, 이는 무엇을 답해야 하는지를 전달하지만 어떻게 추론해야 하는지는 전달하지 않습니다. 이러한 경로 수준의 모방은 전이 가능한 문제 해결 능력 습득보다는 특정 사례에 대한 단계 암기를 장려하여 새로운 문제에 대한 일반화 능력을 제한합니다. 본 논문에서는 전략 기반 정책 최적화(SGPO)를 제안합니다. SGPO는 사례 수준의 경로 모방을 재사용 가능한 전략 추출로 대체합니다. SGPO는 강력한 모델의 응답에서 구조화된 전략 설명을 추출하고, 각 문제에 대해 자율적인 경로와 전략 지향 경로를 모두 구성하여 모델의 행동을 전략적 지침이 있는 경우와 없는 경우 직접 비교할 수 있도록 합니다. 이 프레임워크는 다음과 같은 두 가지 주요 질문에 대한 해결책을 제시합니다. '어떻게 추출해야 하는가?'에 대한 답으로, 토큰 수준의 forward-KL 목적 함수는 전략 조건 설정으로 인해 발생하는 분포 변화를 선택적으로 미지향 정책에 전달하며, 근접 제약 조건을 통해 안정성을 보장합니다. '언제 추출해야 하는가?'에 대한 답으로, 적응적인 사례 수준 가중치는 모델의 자율적 탐색이 부족할 때 지침을 강화하고, 모델 자체의 역량이 향상됨에 따라 이를 줄입니다. 두 가지 모델 패밀리에 걸쳐 네 가지 수학 벤치마크에서 실시한 실험 결과, SGPO는 SFT, 온-정책 RL 및 하이브리드 정책 기준보다 일관되게 우수한 성능을 보이며, Qwen2.5-7B-Instruct 모델에서 가장 강력한 기준 모델 대비 평균 점수를 2.2점 향상시켰습니다. 분석 결과, forward-KL 목적 함수는 본질적으로 선택적인 추출 신호를 제공하여 직접 경로 모방보다 우수하며, 전략 추출은 기본 모델의 능력과 상호 보완적인 방식으로 확장됨을 확인했습니다.

Distilling reasoning capabilities from strong to weak language models typically involves imitating specific solution trajectories, effectively transferring what to answer rather than how to reason. This trajectory-level imitation encourages memorization of instance-specific steps rather than acquisition of transferable problem-solving skills, limiting generalization to novel problems. We propose Strategy-Guided Policy Optimization (SGPO), which replaces instance-level trajectory imitation with reusable strategy distillation. SGPO extracts structured strategy descriptions from strong-model responses and, for each problem, constructs both autonomous and strategy-guided trajectories to enable direct comparison of the model's behavior with and without strategic guidance. The framework then addresses two key questions. For how to distill, a token-level forward-KL objective selectively transfers the distributional shift induced by strategy conditioning into the unguided policy, with proximal constraints ensuring stability. For when to distill, adaptive instance-level weighting strengthens guidance when autonomous exploration falls short and reduces it as the model's own competence grows. Experiments on four mathematical benchmarks across two model families show that SGPO consistently outperforms SFT, on-policy RL, and hybrid-policy baselines, improving the average score by 2.2 points over the strongest baseline on Qwen2.5-7B-Instruct. Analysis reveals that the forward-KL objective provides an inherently selective distillation signal that outperforms direct trajectory imitation, and that strategy distillation exhibits complementary scaling with base model capability.