R3S: 다국어 이해 및 추론을 위한 강화 신호 정제 및 복구

R3S: Refining and Recovering Reinforcement Signals for Multilingual Understanding and Reasoning

대규모 추론 모델은 종종 비영어 질문을 처리할 때 영어로 추론하는 경향이 있으며, 이는 질문 언어로 추론할 때 성능 저하를 초래합니다. 동일한 추론 언어를 사용하더라도 의미적으로 동등한 영어 및 비영어 질문 간에도 상당한 성능 차이가 나타납니다. 이러한 현상은 두 가지 주요 문제점을 드러냅니다: 대상 언어 질문 이해 능력 부족과 대상 언어 추론 능력 부족입니다. 기존 방법은 일반적으로 이 두 가지 능력 중 하나만을 최적화합니다. 그러나 단순히 이들을 결합하는 것만으로는 두 능력을 효과적으로 동시에 최적화하기에 충분하지 않습니다. 왜냐하면 답변 정확도만으로는 질문 이해 실패와 추론 실패를 구별할 수 없기 때문입니다. 본 연구에서는 R3S라는 강화 학습 프레임워크를 제안합니다. R3S는 영어로 풀 수 있는지 여부를 기준으로 하위 작업의 정확도를 활용하여 번역 보상을 정제하고, 자체 생성된 영어 힌트를 사용하여 대상 언어 RLVR 신호를 복구합니다. 이러한 설계 방식을 통해 외부 모델 피드백이나 외부 다국어 학습 데이터가 필요하지 않습니다. 세 가지 기본 모델과 다섯 개 언어를 대상으로 한 실험 결과, R3S는 MMATH에서 대상 언어 RLVR 기준 성능보다 평균 10.3%p 더 높은 언어 일관성 정확도를 보였으며, 거의 완벽한 언어 일관성을 유지했습니다. MMLU-ProX에서의 꾸준한 성능 향상은 수학 문제 외 다른 영역에서도 일반화 능력을 보여줍니다.

Large reasoning models often default to English reasoning when processing non-English questions, yet their performance drops substantially when reasoning in the question language. Even with the same reasoning language, semantically equivalent English and non-English questions still exhibit a clear performance gap. Together, these phenomena reveal two distinct bottlenecks: target-language question understanding and target-language reasoning. Existing methods typically optimize only one of these capabilities. However, simply combining them may not be sufficient to optimize both effectively, as answer correctness alone cannot distinguish failures in question understanding from those in reasoning. We propose R3S, a reinforcement learning framework that disentangles the optimization of the two capabilities. R3S refines translation rewards derived from downstream reasoning accuracy through English-solvability filtering and recovers target-language RLVR signals using self-generated English hints. Together, these designs require neither external model feedback nor external multilingual training data. Experiments across three backbone models and five languages show that R3S improves language-consistent accuracy over the target-language RLVR baseline on MMATH by an average of 10.3 percentage points, while maintaining near-perfect language consistency. Consistent gains on MMLU-ProX further demonstrate its generalization beyond math problems.