정확하고 간결하며 완전한: 적응적 추론을 위한 다단계 훈련

Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning

대규모 언어 모델(LLM)의 추론 능력은 테스트 시 계산량 증가, 특히 연쇄적 사고(CoT)라고 알려진 중간 토큰을 통해 크게 향상되었습니다. 그러나 CoT는 종종 불필요하게 길어져 계산 비용을 증가시키면서 실제 정확도 향상을 가져오지 못하거나 심지어 성능을 저하시키는 현상, 즉 '과도한 사고'가 발생합니다. 본 연구에서는 지도 학습(거부 샘플링 또는 추론 경로 재구성 활용)과 적응형 길이 페널티를 사용하는 강화 학습을 결합한 다단계 효율적인 추론 방법을 제안합니다. 첫 번째 정답 이후에 생성된 토큰에 대한 페널티를 부과하고, 유익할 경우에만 자체 검증을 장려하는 경량 보상 함수를 도입했습니다. 7가지 다양한 추론 작업에 대한 종합적인 평가를 수행하여 정확도와 응답 길이 간의 균형을 분석했습니다. 제안하는 방법은 8B 모델의 경우 평균 28%, 32B 모델의 경우 40%의 응답 길이를 줄이면서 각각 1.6점, 2.5점의 미미한 성능 저하만 발생했습니다. 개념적으로 단순하지만, 더 복잡한 최첨단 효율적인 추론 방법에 비해 우수한 균형을 제공하며, 과도한 사고를 고려한 정확도 곡선(AUC_OAA)의 영역에서 76.6점을 기록하여 기준 모델보다 5점, 두 번째 최고 성능 방법보다 2.5점 높은 성능을 보였습니다.

The reasoning capabilities of large language models (LLMs) have improved substantially through increased test-time computation, typically in the form of intermediate tokens known as chain-of-thought (CoT). However, CoT often becomes unnecessarily long, increasing computation cost without actual accuracy gains or sometimes even degrading performance, a phenomenon known as ``overthinking''. We propose a multi-stage efficient reasoning method that combines supervised fine-tuning -- via rejection sampling or reasoning trace reformatting -- with reinforcement learning using an adaptive length penalty. We introduce a lightweight reward function that penalizes tokens generated after the first correct answer but encouraging self-verification only when beneficial. We conduct a holistic evaluation across seven diverse reasoning tasks, analyzing the accuracy-response length trade-off. Our approach reduces response length by an average of 28\% for 8B models and 40\% for 32B models, while incurring only minor performance drops of 1.6 and 2.5 points, respectively. Despite its conceptual simplicity, it achieves a superior trade-off compared to more complex state-of-the-art efficient reasoning methods, scoring 76.6, in terms of the area under the Overthinking-Adjusted Accuracy curve ($\text{AUC}_{\text{OAA}}$) -- 5 points above the base model and 2.5 points above the second-best approach.