사전 학습부터 사후 학습까지의 추론 이해

Understanding Reasoning from Pretraining to Post-Training

강화 학습(Reinforcement Learning, RL)은 복잡한 추론 과제에서 대규모 언어 모델(Large Language Models, LLMs)을 개선하는 데 핵심적인 역할을 하지만, 현재까지는 대부분의 연구가 사전 학습 단계와 분리된 사후 학습에 초점을 맞추고 있습니다. 그 결과, 다음과 같은 기본적인 질문들이 여전히 해결되지 않은 상태입니다: (1) 사전 학습 과정에서의 선택(모델 크기, 데이터)이 RL 연산 효율성에 어떤 영향을 미치는지, 그리고 (2) RL은 실제로 모델에 어떤 변화를 가져오는지. 이러한 질문들은 일반적인 LLM 환경에서 연구하기 어렵습니다. 왜냐하면 사전 학습에 사용되는 데이터는 방대하고 통제하기 어려워, 행동의 원인을 사전 학습인지 RL인지 구별하기 어렵고, 두 단계 모두에 대한 체계적인 연산량 조사는 비용이 매우 높기 때문입니다. 이러한 문제점을 해결하기 위해, 우리는 추론 과정을 전체 사전 학습부터 사후 학습 파이프라인까지 연구할 수 있는 통제된 환경으로 체스를 사용했습니다. 우리는 표준 LLM 훈련 파이프라인을 따르며, 인간이 만든 체스 게임 데이터로 5백만에서 10억 개의 파라미터를 가진 언어 모델을 사전 학습하고, 합성된 추론 데이터를 사용하여 지도 미세 조정(supervised fine-tuning)을 수행한 후, 검증 가능한 보상을 제공하는 체스 퍼즐을 사용하여 강화 학습을 진행했습니다. 이러한 프레임워크를 통해, 우리는 주어진 RL 연산량에서 얻는 사후 RL 성능이 사전 학습 손실 값으로 잘 예측된다는 것을 확인했으며, RL 보상 곡선의 기울기는 사전 학습 토큰 수에 거의 선형적으로 증가한다는 것을 발견했습니다. 또한, RL은 단순히 지도 미세 조정(SFT) 정책을 개선하는 것 이상이며, 쉬운 퍼즐에서는 SFT 정책이 이미 선호하는 올바른 동작을 강화하고, 어려운 퍼즐에서는 SFT에서 거의 나타나지 않던 올바른 동작을 찾아낸다는 것을 확인했습니다. 더 나아가, 이러한 연구 결과가 체스 영역을 넘어 다른 영역에도 적용될 수 있는지 확인하기 위해, 10억 개의 파라미터를 가진 언어 모델을 수학 관련 텍스트 데이터로 학습시켰고, 동일한 예측 패턴이 나타났습니다: 더 오래 사전 학습된 모델은 사후 RL 성능이 높았으며, RL 과정에서 더 빠르게 개선되었습니다. 결론적으로, 우리는 사전 학습과 RL 사이의 관계를 정량적으로 분석하고, 전체 사전 학습부터 사후 학습 파이프라인에 걸쳐 추론 과학을 연구할 수 있는 통제된 환경을 제공합니다.

Reinforcement learning (RL) has become central to improving large language models (LLMs) on complex reasoning tasks, yet RL post-training is largely studied in isolation from the pretraining that precedes it. As a result, two basic questions remain open: (1) how do pretraining choices (model size, data) shape the returns to RL compute, and (2) what does RL actually do to the model? These questions are difficult to study in the standard LLM setting: pretraining corpora are vast and uncontrolled, making it hard to attribute behaviors to pretraining versus RL, and systematic compute sweeps across both stages are prohibitively expensive. To address these challenges, we use chess as a controlled testbed for studying reasoning across the full pretraining-to-post-training pipeline. We follow the standard LLM training pipeline by pretraining language models from 5M to 1B parameters on human chess games, supervised fine-tuning on synthetic reasoning traces, and running RL on chess puzzles with verifiable rewards. Using this framework, we find that the post-RL performance at given RL compute level is well-predicted from the pretraining loss, and slope of the RL reward curves improves approximately linearly with the pretraining tokens. Beyond scaling, we find that RL does not simply sharpen the SFT policy: on easy puzzles it amplifies correct moves the SFT policy already preferred, while on hard puzzles it surfaces correct moves that were nearly absent under SFT. We further test whether our findings transfer beyond chess by training a 1B language model on math-domain text, where the same predictive pattern emerges: longer-pretrained checkpoints reach higher post-RL performance and improve faster under RL. In sum, we provide a quantitative account of the pretraining-to-RL interface and a controlled testbed for studying the science of reasoning across the full pretraining-to-post-training pipeline.