학습 후 훈련은 LLM을 인과적 추론 엔진으로 변환할 수 있는가?

Can Post-Training Transform LLMs into Causal Reasoners?

인과적 추론은 의사 결정에 필수적이지만, 비전문가에게는 여전히 어려운 과제입니다. 대규모 언어 모델(LLM)은 이 분야에서 잠재력을 보여주지만, 정확한 인과적 추정 능력은 아직 제한적이며, 학습 후 훈련이 이러한 능력에 미치는 영향은 충분히 연구되지 않았습니다. 본 논문에서는 학습 후 훈련이 LLM의 인과적 추론 능력을 얼마나 향상시킬 수 있는지 조사합니다. 우리는 훈련을 위한 7가지 핵심 인과적 추론 과제와 5가지 다양한 테스트 세트로 구성된 종합 데이터 세트인 CauGym을 소개합니다. 이 데이터 세트를 사용하여 SFT, DPO, KTO, PPO, GRPO의 5가지 학습 후 훈련 방법을 체계적으로 평가했습니다. 5가지 동일 도메인 데이터 세트와 4가지 기존 벤치마크에서, 우리의 실험 결과는 적절한 학습 후 훈련이 더 작은 LLM이 경쟁력 있는 인과적 추론을 수행할 수 있도록 하며, 종종 훨씬 더 큰 모델보다 뛰어난 성능을 보인다는 것을 보여줍니다. 우리의 140억 개의 파라미터를 가진 모델은 CaLM 벤치마크에서 93.5%의 정확도를 달성했으며, 이는 OpenAI o3의 55.4%보다 높은 수치입니다. 또한, 학습 후 훈련된 LLM은 데이터 분포 변화 및 노이즈 데이터와 같은 실제 환경 조건에서 강력한 일반화 및 견고성을 나타냅니다. 종합적으로, 이러한 결과는 타겟팅된 학습 후 훈련이 신뢰할 수 있고 견고한 LLM 기반 인과적 추론 엔진을 만들 수 있다는 최초의 체계적인 증거를 제공합니다. 우리의 데이터와 GRPO 모델은 https://github.com/OpenCausaLab/CauGym 에서 사용할 수 있습니다.

Causal inference is essential for decision-making but remains challenging for non-experts. While large language models (LLMs) show promise in this domain, their precise causal estimation capabilities are still limited, and the impact of post-training on these abilities is insufficiently explored. This paper examines the extent to which post-training can enhance LLMs' capacity for causal inference. We introduce CauGym, a comprehensive dataset comprising seven core causal tasks for training and five diverse test sets. Using this dataset, we systematically evaluate five post-training approaches: SFT, DPO, KTO, PPO, and GRPO. Across five in-domain and four existing benchmarks, our experiments demonstrate that appropriate post-training enables smaller LLMs to perform causal inference competitively, often surpassing much larger models. Our 14B parameter model achieves 93.5% accuracy on the CaLM benchmark, compared to 55.4% by OpenAI o3. Furthermore, the post-trained LLMs exhibit strong generalization and robustness under real-world conditions such as distribution shifts and noisy data. Collectively, these findings provide the first systematic evidence that targeted post-training can produce reliable and robust LLM-based causal reasoners. Our data and GRPO-model are available at https://github.com/OpenCausaLab/CauGym.