지도 학습 미세 조정과 강화 학습 비교 연구: 대규모 언어 모델의 사후 훈련 방법

Supervised Fine-Tuning versus Reinforcement Learning: A Study of Post-Training Methods for Large Language Models

사전 훈련된 대규모 언어 모델(LLM)은 다양한 능력을 보여주지만, 특정 작업이나 분야에서 높은 정확도와 신뢰성 있는 추론을 달성하기 위해서는 일반적으로 지도 학습 미세 조정(SFT) 또는 강화 학습(RL)을 통한 사후 훈련이 필요합니다. SFT와 RL은 종종 별개의 방법론으로 취급되지만, 최근의 이론적 및 실증적 연구 결과는 이 둘이 밀접하게 연결되어 있음을 보여줍니다. 본 연구는 SFT와 RL을 활용한 LLM의 사후 훈련에 대한 종합적이고 통일적인 관점을 제시합니다. 먼저, 두 기술의 목표, 알고리즘 구조 및 데이터 요구 사항에 대한 심층적인 개요를 제공합니다. 그런 다음, SFT와 RL의 상호 작용을 체계적으로 분석하고, SFT와 RL을 통합하는 프레임워크, 하이브리드 훈련 파이프라인 및 상호 보완적인 강점을 활용하는 방법을 강조합니다. 2023년부터 2025년까지의 다양한 응용 연구 사례를 바탕으로, 우리는 새로운 트렌드를 파악하고, 하이브리드 사후 훈련 패러다임으로의 빠른 전환을 분석하며, 각 방법이 언제 그리고 왜 가장 효과적인지에 대한 핵심적인 내용을 도출합니다. 본 연구는 이론적 통찰력, 실용적인 방법론 및 실증적 증거를 종합하여, 통일된 프레임워크 내에서 SFT와 RL에 대한 일관된 이해를 확립하고, 확장 가능하고 효율적이며 일반화 가능한 LLM 사후 훈련에 대한 미래 연구의 유망한 방향을 제시합니다.

Pre-trained Large Language Model (LLM) exhibits broad capabilities, yet, for specific tasks or domains their attainment of higher accuracy and more reliable reasoning generally depends on post-training through Supervised Fine-Tuning (SFT) or Reinforcement Learning (RL). Although often treated as distinct methodologies, recent theoretical and empirical developments demonstrate that SFT and RL are closely connected. This study presents a comprehensive and unified perspective on LLM post-training with SFT and RL. We first provide an in-depth overview of both techniques, examining their objectives, algorithmic structures, and data requirements. We then systematically analyze their interplay, highlighting frameworks that integrate SFT and RL, hybrid training pipelines, and methods that leverage their complementary strengths. Drawing on a representative set of recent application studies from 2023 to 2025, we identify emerging trends, characterize the rapid shift toward hybrid post-training paradigms, and distill key takeaways that clarify when and why each method is most effective. By synthesizing theoretical insights, practical methodologies, and empirical evidence, this study establishes a coherent understanding of SFT and RL within a unified framework and outlines promising directions for future research in scalable, efficient, and generalizable LLM post-training.