BiPACE: 비시뮬레이션 기반 정책 최적화 방법 - LLM 에이전트를 위한 행동 반사실 추정

BiPACE: Bisimulation-Guided Policy Optimization with Action Counterfactual Estimation for LLM Agents

단계별 그룹 기반 강화 학습은 학습된 평가기 없이도 장기간 목표를 달성하는 LLM 에이전트를 훈련하는 매력적인 방법입니다. 이 방법은 여러 번 샘플링된 실행 결과를 재사용하여 지역적 이점을 추정합니다. 그러나 이 방법의 약점은 덜 눈에 띄지만 더 근본적인 문제입니다. 그룹 상대 추정기는 비교되는 단계들이 보상 할당 관점에서 동일하다는 가정을 합니다. 본 논문에서는 현재 에이전트 변형이 상태-행동 간의 보상 불일치로 인해 이 가정을 위반한다는 것을 보여줍니다. 관측값 해싱 파티션은 상태 측면에서 너무 세분화되어 있어 신호가 없는 단일 그룹을 생성하는 반면, 그룹 내 평균은 행동 측면에서 너무 조잡하여 상태 값 추정과 행동별 보상 간에 혼동을 일으킵니다. 본 논문에서는 평가기를 추가하거나 부가적인 손실 함수를 사용하거나 추가 실행 결과를 필요로 하지 않고 이러한 문제를 해결하는 'BiPACE (비시뮬레이션 기반 정책 최적화 방법 - 행동 반사실 추정)'라는 새로운 이점 추정 방법을 제안합니다. BiGPO는 액터의 자체 숨겨진 상태 기하학에서 코사인 거리를 사용하여 단계를 클러스터링하며, 이는 경험적으로 정책에 의해 유도되는 비시뮬레이션의 근사치이며, 관측값 해싱으로 인해 발생하는 단일 그룹 비율을 크게 줄입니다. PACE는 행동 조건에 따른 동료 기준선을 사용하여 각 행동 클러스터 내에서 반환 값을 재중심 처리합니다. PACE의 Q-스타일 인스턴스는 로컬 Q(s,a)-V(s)를 비매개변수로 추정합니다. ALFWorld/Qwen2.5-7B 데이터셋에서 BiPACE_Q는 전체 검증 성공률을 GiGPO의 90.8%에서 $97.1 extpm{0.9}%$로 향상시켰으며, 모든 실험 환경에서 95% 이상의 성능을 달성했습니다. Qwen2.5-1.5B에서는 $93.5 extpm{1.2}%$의 성능을 보였으며, 이는 GiGPO의 86.7%보다 높은 수치입니다. WebShop 및 TextCraft 데이터셋에서도 다양한 모델 크기에서 GRPO 및 GiGPO보다 더 나은 성능을 보여주었습니다. BiPACE에 특화된 추가 계산 비용은 단일 학습 단계의 총 실행 시간의 11.3%로 측정되었습니다. 하지만 BiPACE는 추정기의 비교 대상을 단순한 표면적 동일성에서 근사적인 행동 동등성과 행동 측면의 반사실로 변경합니다. 관련 코드는 https://github.com/TianxiangZhao/BiPACE 에서 확인할 수 있습니다.

Stepwise group-based RL is an attractive way to train long-horizon LLM agents without a learned critic: it reuses multiple sampled rollouts to estimate local advantages. Its weakness is less visible but more fundamental: every group-relative estimator assumes that the steps it compares are equivalent for credit assignment. We show that current agentic variants violate this assumption through a state-action credit mismatch. The observation-hash partition is overly fine on the state side, creating singleton groups with zero step-level signal, while a single within-group mean is too coarse on the action side, mixing state-value estimation with action-specific credit. We introduce BiPACE (Bisimulation-Guided Policy Optimization with Action Counterfactual Estimation), a drop-in advantage estimator that fixes both sides without adding a critic, auxiliary loss, or extra rollouts. BiGPO clusters steps by cosine distance in the actor's own hidden-state geometry, an empirical policy-induced proxy for bisimulation that substantially lowers the singleton rate left by observation hashing. PACE then recenters returns within each behavioral cluster using action-conditioned peer baselines; its Q-style instance estimates a local Q(s,a)-V(s) nonparametrically. On ALFWorld/Qwen2.5-7B, BiPACE_Q raises overall validation success from GiGPO's 90.8 to $97.1\pm0.9$ over three seeds, and crosses the 95% threshold on every seed, which GiGPO never does within the same budget. On Qwen2.5-1.5B it reaches $93.5\pm1.2$ versus GiGPO's 86.7, and on WebShop and TextCraft it improves over GRPO and GiGPO at both model scales. The measured BiPACE-specific overhead is 11.3% of a single training-step wall time. Yet it changes the estimator's comparison unit from surface identity to approximate behavioral equivalence plus action-side counterfactuals. The code is available at https://github.com/TianxiangZhao/BiPACE.