OrderGrad: 평균을 넘어선 최적화 - 순위 통계 기반 정책 경사 추정

OrderGrad: Optimizing Beyond the Mean with Order-Statistic Policy Gradient Estimation

정책 경사 방법은 일반적으로 기대 수익을 최적화하지만, 실제 응용 분야에서는 종종 수익의 분포 특성(꼬리 위험, 이상치에 대한 강건성 또는 최고 K 값 발견 등)이 중요합니다. 본 논문에서는 순위 통계 목표를 위한 likelihood-ratio 및 재파라미터화 경사 추정기의 한 종류인 OrderGrad를 소개합니다. OrderGrad는 정규 샘플 크기의 L-통계, 즉 정렬된 보상 또는 비용의 가중 평균을 최적화하며, 순위 가중치를 변경하여 VaR(Value at Risk), CVaR(Conditional Value at Risk), 트리밍된 평균, 중앙값 및 상위 m/최고 K 기준과 같은 목표를 달성할 수 있습니다. OrderGrad는 고정된 샘플 크기와 순위 가중치 벡터에 대해 해당 순위 통계 목표에 대한 편향되지 않은 경사 추정기를 제공합니다. 이 방법은 표준 정책 경사 또는 재파라미터화 업데이트에서 사용할 수 있는 간단한 보상 변환으로 구현됩니다. 본 논문에서는 결과 추정기의 분산 특성을 분석하고, 평균 최적화가 실제 목표와 일치하지 않는 작업(예: LLM 수학 추가 훈련 및 기타 작업)에 대한 성능을 평가합니다. OrderGrad는 위험 회피, 강건성 및 탐색 학습을 위한 통합되고 사용하기 쉬운 방법을 제공합니다. 코드: https://github.com/paavo5/ordergrad

Policy-gradient methods usually optimize expected return, but many real world applications care about distributional properties of returns: tail risk, outlier robustness, or best-of-K discovery. We introduce OrderGrad, a family of likelihood-ratio and reparameterization gradient estimators for order-statistic objectives. OrderGrad optimizes finite-sample L-statistics, i.e., weighted averages of sorted rewards or costs, recovering objectives such as VaR, CVaR, trimmed means, medians, and top-m/best-of-K criteria by changing only the rank weights. For any fixed sample size and rank-weight vector, OrderGrad provides an unbiased gradient estimator for the corresponding order-statistic objective. The method is implemented as a simple reward transformation that can then be used in an otherwise standard policy-gradient or reparameterized update. We study the resulting estimator's variance behavior and evaluate it on tasks where mean optimization is mismatched to the deployment objective, including LLM math post-training and other tasks. OrderGrad provides a unified, plug-and-play route to risk-averse, robust, and exploratory learning. Code: https://github.com/paavo5/ordergrad