Hi-TTRL: 테스트 시 강화 학습에서 힌트를 활용하여 합의를 조절하는 방법

Hi-TTRL: Regulating Consensus with Hints for Test-Time Reinforcement Learning

테스트 시 강화 학습(TTRL)은 다수결 투표를 통해 생성된 준레이블을 사용하여 정책을 업데이트함으로써, 레이블이 없는 데이터로 대규모 언어 모델의 추론 능력을 향상시킵니다. 이는 효과적이지만, 다수결 투표에서 얻는 보상 신호는 rollout 그룹 내에서 가장 흔한 답변의 빈도를 나타내는 합의 강도에 매우 민감합니다. TTRL에서 합의 강도는 준레이블의 신뢰성과 장점 분포를 모두 반영하는 이중적인 역할을 합니다. 낮은 합의는 신뢰할 수 없는 준레이블로부터 발생하는 불균형하게 큰 장점으로 인해 업데이트를 증폭시킬 수 있으며, 높은 합의는 보상 대비를 감소시켜 결국 기울기가 사라지는 현상을 초래합니다. 본 논문에서는 테스트 시 강화 학습 프레임워크인 Hi-TTRL을 제안합니다. Hi-TTRL은 샘플링 과정에서 힌트를 활용하여 rollout 합의 강도를 조절합니다. 먼저, Hi-TTRL은 부분적인 rollout 그룹으로부터 합의 강도를 추정합니다. 목표 범위 밖에 있는 합의 강도가 감지되면, Markov chain Monte Carlo (MCMC) 힌트 샘플러를 호출합니다. 이 샘플러는 power 변환된 prefix 분포를 대상으로 하며, 유한 단계 근사 샘플링을 사용하여 rollout prefix를 힌트로 생성합니다. Hi-TTRL은 power 지수를 조정하여 날카롭게 또는 평평하게 만들어 목표 power 값을 갖는 힌트를 생성하고, 이를 통해 rollout 합의 강도를 목표 범위로 조절합니다. 여러 데이터셋과 모델 구조에 대한 실험 결과에서 Hi-TTRL이 기존 TTRL보다 일관되게 성능이 향상됨을 확인했으며, ablation 및 합의 제어 분석을 통해 적응적인 힌트 기반 합의 조절의 효과를 검증했습니다.

Test-time reinforcement learning (TTRL) improves the reasoning capabilities of large language models without labeled data by updating the policy with pseudo-labels constructed through majority voting. While effective, the reward signal assigned from majority voting is highly sensitive to consensus strength, defined as the frequency of the most common answer within a rollout group. In TTRL, consensus strength plays a dual role: it reflects both the reliability of the pseudo-label and the distribution of advantages. Low consensus can amplify updates from unreliable pseudo-labels through disproportionately large advantages, whereas high consensus reduces reward contrast and ultimately yields vanishing gradients. In this paper, we introduce Hi-TTRL, a test-time reinforcement learning framework that utilizes hints during sampling to regulate rollout consensus strength. Hi-TTRL first estimates consensus strength from a partial rollout group. When the consensus strength falls outside a target interval, it invokes a Markov chain Monte Carlo (MCMC) hint sampler. The sampler targets the power-transformed prefix distribution and uses finite-step approximate sampling to generate rollout prefixes as hints. By tuning the power exponent, Hi-TTRL generates hints with a sharpened or flattened power target, steering rollout consensus strength toward the target interval. Experiments on multiple datasets and backbones show that Hi-TTRL consistently improves over standard TTRL, with ablations and consensus-steering analyses validating the effectiveness of adaptive hint-guided consensus regulation.