연속 행동 공간에서의 재시도 정책 그래디언트

Retry Policy Gradients in Continuous Action Spaces

재시도 기반 목표 함수(예: pass@K, max@K)는 여러 샘플링된 경로에서 얻은 최상의 보상을 최적화하며, 최근 연구에 따르면 이러한 목표 함수는 명시적인 탐색 보너스 없이 탐색을 촉진할 수 있습니다. 이산 행동 공간에서 ReMax는 반환 불확실성에 적응하여 이를 달성하는 것으로 나타났습니다. 본 연구에서는 재시도 목표 함수의 경로 기반 미분 추정기를 도입하고, 이를 사용하여 ReMax를 연속 행동 공간으로 확장합니다. 결과적인 학습 동역학을 분석하고, 결정론적 보상에서도 ReMax가 정책 그래디언트 지형을 재구성하여 확률적 탐색을 장려할 수 있음을 보여줍니다. 특히, ReMax는 정책 엔트로피를 높이는 방향으로 업데이트를 편향시키는 동시에, 그래디언트를 감쇠시키고 수렴 속도를 늦추어 그래디언트의 크기를 변경합니다. 또한, Adam의 적응적 정규화가 이 감쇠 효과를 완화할 수 있으며, 이는 Adam의 수치 안정화 파라미터에 따라 달라집니다. 실험적으로, 본 연구에서는 ReMax Actor-Critic (ReMAC)이라는 오프라인 액터-크리틱 알고리즘을 구현하여 경로 기반 미분 추정기를 사용하여 ReMax 목표 함수를 최적화합니다. 실험 결과, ReMAC은 엔트로피 정규화 없이도 더 높은 정책 엔트로피를 유도하며, SAC와 비교 가능한 성능을 달성함을 보여줍니다.

Retry-based objectives such as pass@K and max@K optimize the best return obtained from multiple sampled trajectories, and recent work has shown that they can promote exploration without explicit exploration bonuses. In discrete action spaces, ReMax was shown to do so by adapting to return uncertainty. In this work, we introduce pathwise derivative estimators for retry objectives and use them to extend ReMax to continuous action spaces. We study the resulting learning dynamics and show that, even with deterministic rewards, ReMax can encourage stochastic exploration by reshaping the policy-gradient landscape. In particular, it alters gradients both in direction, biasing updates toward higher policy entropy, and in magnitude, damping gradients and slowing convergence. We further show that Adam's adaptive normalization can mitigate this damping, depending on its numerical stabilization parameter. Empirically, we instantiate this objective as ReMax Actor-Critic (ReMAC), an off-policy actor--critic algorithm that optimizes the ReMax objective using a pathwise derivative estimator. Our experiments show that ReMAC can promote higher policy entropy without entropy regularization and achieves performance comparable to SAC.