답변 기반 사고 체인이 대규모 언어 모델의 검증 가능한 추론 능력 향상에 미치는 악영향

Answer-Conditioned Chains of Thought Degrade Verifiable-Reasoning Distillation in Large Language Models

대규모 언어 모델(LLM)의 추론 능력을 효과적으로 학습시키는 일반적인 방법은, 모델로부터 사고 과정을 샘플링하여 정답을 도출하는 체인을 선택하고, 이를 사용하여 모델을 추가적으로 훈련하는 것입니다. 만약 샘플링 과정에서 실패가 발생하면, 일반적으로 생성된 모델에게 정답을 보여주고 해당 정답에 도달하는 사고 과정을 작성하도록 요청합니다. 본 연구에서는 이러한 두 번째 단계가 학습 데이터의 품질을 저하시키며, 기존의 정확성 필터로는 이를 감지하기 어렵다는 것을 밝힙니다. 우리는 생성 모델, 문제 세트 및 정확성 필터를 고정하고, 사고 체인이 정답 기반으로 생성되었는지 여부만을 달리하는 통제된 실험을 수행했습니다. 자체적으로 생성된 정답 기반 사고 과정을 사용하여 강력한 명령어-튜닝 추론 모델을 훈련시키면, 검증 가능한 추론 정확도가 현저하게 저하됩니다. 이러한 성능 저하는 문제의 난이도에 따라 증가하며, 가장 어려운 경쟁 문제에서 최대 약 27점까지 감소합니다. 이 문제는 사고 과정 자체에서도 확인될 수 있는데, 생성된 체인은 제시된 정답으로부터 역으로 논리 전개를 시도하며, 초기 단계에서 최종 답변을 명시하는 것이 특징입니다. 이러한 부정적인 영향은 생성 모델의 특성보다는 데이터 자체에 기인하며, 미세 조정 전에 생성된 데이터에서도 관찰되며, 다양한 사고 모델에 걸쳐 나타납니다. 또한, 특정 프롬프트 요소를 제거한 실험 결과, 정답 노출 자체가 아니라 '정답을 향해 논리 전개'하라는 지시문이 문제의 원인이 되는 것으로 확인되었습니다. 실질적인 시사점은 정답 정보를 활용하지 않고 사고 과정을 생성해야 한다는 점이며, 아무리 엄격한 정확성 필터도 이러한 데이터 손상을 감지할 수 없기 때문입니다.

A standard recipe for distilling the reasoning ability of large language models (LLMs) is to sample chains of thought from the model, keep those that reach the correct final answer, and fine-tune on the survivors. When sampling fails, a common fix shows the generator the gold answer and asks it to write a chain that reaches that answer. We show that this second step degrades the training data in a way that correctness filtering cannot catch. We run a controlled experiment that fixes the generator, the problem set, and the correctness filter, and varies only whether the chain is generated under answer-conditioning, the gold answer shown with a request to reach it. Training a strong instruction-tuned reasoning model on its own answer-conditioned chains sharply lowers its verifiable-reasoning accuracy. The loss grows with difficulty, reaching as much as about 27 points on the hardest competition problems. The mechanism is legible in the chains themselves, which rationalize backward from the shown answer instead of deriving it, with the early final-answer statement as the measurable symptom. The harm is a property of the data rather than the generator, read off unlabeled generations before any fine-tuning, ordering the penalty across eight thinking models from four families, and transferring across teacher families. A prompt ablation localizes it to the rationalize-toward instruction rather than the answer's bare visibility. The practical takeaway is to generate answer-blind, because no correctness filter can see this damage in the data.