강화 학습을 이용한 물리 시뮬레이터를 활용한 물리학 올림피아드 문제 해결

Solving Physics Olympiad via Reinforcement Learning on Physics Simulators

최근 DeepSeek-R1과 같은 LLM의 추론 능력에서 괄목할 만한 발전이 있었지만, 이러한 발전은 주로 인터넷 기반의 방대한 질문-답변(QA) 데이터에 힘입은 결과입니다. 하지만 이러한 데이터는 규모가 제한적이며 주로 수학과 같은 특정 분야에 집중되어 있어, 다른 과학 분야, 특히 물리학에서는 추론 능력을 갖춘 모델을 효과적으로 훈련할 수 있는 대규모 QA 데이터셋이 부족합니다. 본 연구에서는 물리 시뮬레이터가 물리적 추론 능력을 갖춘 LLM을 훈련하는 데 강력한 대체적인 지도 학습 자료원이 될 수 있음을 보여줍니다. 우리는 물리 엔진에서 무작위 장면을 생성하고, 시뮬레이션된 상호 작용으로부터 합성적인 질문-답변 쌍을 만들고, 이 합성 데이터를 사용하여 강화 학습을 통해 LLM을 훈련합니다. 우리의 모델은 실제 세계의 물리 벤치마크에서 제로샷(zero-shot) 방식으로 실제 환경으로의 성능 이전을 보여줍니다. 예를 들어, 합성 시뮬레이션 데이터만으로 훈련했을 때, 모델 크기에 관계없이 IPhO(국제 물리학 올림피아드) 문제에 대한 성능이 5~10%p 향상되었습니다. 이러한 결과는 물리 시뮬레이터가 확장 가능한 데이터 생성기로 작용하여 LLM이 인터넷 규모의 QA 데이터의 한계를 넘어 깊은 물리적 추론 능력을 습득할 수 있도록 한다는 것을 보여줍니다. 코드: https://sim2reason.github.io/.

We have witnessed remarkable advances in LLM reasoning capabilities with the advent of DeepSeek-R1. However, much of this progress has been fueled by the abundance of internet question-answer (QA) pairs, a major bottleneck going forward, since such data is limited in scale and concentrated mainly in domains like mathematics. In contrast, other sciences such as physics lack large-scale QA datasets to effectively train reasoning-capable models. In this work, we show that physics simulators can serve as a powerful alternative source of supervision for training LLMs for physical reasoning. We generate random scenes in physics engines, create synthetic question-answer pairs from simulated interactions, and train LLMs using reinforcement learning on this synthetic data. Our models exhibit zero-shot sim-to-real transfer to real-world physics benchmarks: for example, training solely on synthetic simulated data improves performance on IPhO (International Physics Olympiad) problems by 5-10 percentage points across model sizes. These results demonstrate that physics simulators can act as scalable data generators, enabling LLMs to acquire deep physical reasoning skills beyond the limitations of internet-scale QA data. Code available at: https://sim2reason.github.io/.