LLM 정책 최적화의 기초 원리 유도: 기대 보상으로부터 GRPO 및 그 구조적 확장까지

A First-Principles Derivation of LLM Policy Optimization: From Expected Reward to GRPO and Its Structural Extensions

언어 모델을 위한 정책 그래디언트 알고리즘은 동일한 목적 함수 $J(θ) = ext{E}_{τacksim p_θ(τ)}[R(τ)]$를 최적화하며, 이는 정확히 두 가지 요소, 즉 경로 확률 $p_θ(τ)$와 보상 $R(τ)$로 구성됩니다. REINFORCE부터 PPO, GRPO 및 그 파생 알고리즘에 이르기까지 모든 방법은 이전 방식의 특정 문제점을 해결하기 위해 하나 또는 양쪽 요소를 수정합니다. 기존 연구들은 이러한 방법을 도메인이나 연대기에 따라 분류하지만, 이는 각 설계 선택의 근거와 그래디언트 추정 내에서의 정확한 개입 위치를 파악하는 데 어려움을 초래합니다. 본 논문에서는 $J(θ)$로부터의 기초 원리에 기반하여 LLM 정책 최적화 방식을 재검토하고, 경로 확률 $p_θ(τ)$에 의해 유도되는 경로 측면과 보상 $R(τ)$에 의해 유도되는 보상 측면을 방법 분류의 두 가지 축으로 사용합니다. 본 논문은 REINFORCE와 PPO부터 GRPO, 그리고 GRPO 이후 변형, Agentic RL 및 GRPO-OPD까지의 과정을 다룹니다. 결과적으로 도출된 프레임워크는 통일적이고 진단 가능하며 확장 가능합니다. 이는 방법들을 공통 목표를 중심으로 분석하고, 각 방법이 어떤 측면을 수정하는지, 그리고 그 이유를 파악하며, 동일한 경로 및 보상 축을 사용하여 다양한 환경에 적용합니다. 또한 이 프레임워크는 단일 측면의 수정으로는 해결되지 않는 복합적인 문제점들을 드러내며, 따라서 경로 측면과 보상 측면에 대한 공동 설계를 필요로 합니다. 본 논문에서 제시된 경계 사례 및 상호 연관된 실패 요소들은 기존 솔루션이 한계에 도달하는 지점을 명확히 보여주며, 차세대 LLM 정책 최적화 알고리즘을 설계하기 위한 체계적인 출발점을 제공합니다.

Policy gradient algorithms for language models optimize the same objective $J(θ) = \mathbb{E}*{τ\sim p*θ(τ)}[R(τ)]$, which has exactly two factors: the trajectory probability $p_θ(τ)$ and the reward $R(τ)$. Every method from REINFORCE to PPO to GRPO and their descendants modifies one or both factors to address a specific failure in the preceding formulation. Existing surveys organize these methods by domain or chronology, which obscures the rationale behind each design choice and the precise location of its intervention within the gradient estimator. This survey revisits the landscape of LLM policy optimization from $J(θ)$ on first principles and uses the trajectory side, induced by $p_θ(τ)$, and the reward side, induced by $R(τ)$, as the two axes along which methods are located. It covers the path from REINFORCE and PPO to GRPO, as well as post-GRPO variants, Agentic RL, and GRPO-OPD. The resulting framework is unified, diagnostic, and extensible: it analyzes methods from a shared objective, identifies which side each method modifies and why, and applies the same trajectory and reward axes across these settings. Across these settings, the framework also exposes compound failures that no single-side fix resolves and that therefore require joint design of the trajectory side and the reward side. The boundary cases and coupled failures identified by this map mark where existing solutions run out and provide a principled starting point for designing the next generation of LLM policy optimization algorithms.