LLM 기반 에이전트에서 CoT 학습으로 얻는 이점은 어디에 나타나는가?

Where Do CoT Training Gains Land in LLM based Agents?

체인 오브 소트 (Chain-of-thought, CoT) 추론은 언어 모델 기반 에이전트에서 널리 사용되지만, 기존 연구에서는 명시적인 CoT가 항상 정확하지 않으며 오히려 사후적 추론을 반영할 수 있다는 점이 밝혀졌습니다. 즉, 모델이 추론 과정을 거치기 전에 이미 정답을 알고 있을 수 있다는 것입니다. 따라서 본 연구에서는 CoT 학습이 실제로 무엇을 향상시키는지 묻고자 합니다. 모델이 생성된 추론을 통해 행동을 변경하는 능력이 향상되는 것인지, 아니면 프롬프트로부터 직접적으로 행동을 예측하는 능력이 향상되는 것인지 분석합니다. 이를 위해, CoT를 사용하지 않고 행동을 예측하는 '프롬프트 액션'과 CoT를 사용하여 행동을 예측하는 'CoT 액션'을 비교했습니다. 연구 결과, 체크포인트별로 프롬프트 액션의 품질이 크게 향상되는 것을 확인했습니다. 환경과의 상호 작용 과정에서 CoT 액션이 프롬프트 액션보다 가지는 상대적인 이점은 유사하게 유지되었으며, 이는 CoT 학습이 CoT 추론의 장점을 확대하지 않고 오히려 프롬프트 액션의 품질을 개선하는 데 기여한다는 것을 보여줍니다. 또한, 후기 체크포인트에서 모델이 CoT에 따라 행동을 수정할 가능성이 낮아지는 경향을 발견했는데, 이는 프롬프트에 대한 의존도가 높아졌음을 시사합니다. 이러한 패턴에 착안하여, 학습 데이터의 일부에 대해 액션 토큰에 대한 감독 신호를 선택적으로 마스킹했습니다. 이 방법은 일반화 성능을 향상시키는 것으로 나타났습니다.

Chain-of-thought (CoT) reasoning is widely used in language-model agents, but prior work has shown that verbalized CoT is not always faithful and may instead reflect post-hoc reasoning, which means the model already knows the answer before reasoning. We therefore ask what CoT training is actually improving: is the model getting better at changing its action through generated reasoning, or is it getting better at predicting the action directly from the prompt? We study this question by comparing \emph{prompt actions} (predicting action without CoT) with CoT actions (predicting action with CoT). Across checkpoints, prompt-action quality improves substantially. While interacting with the environment, the relative advantage of CoT actions over prompt actions remains similar, showing that CoT training does not widen the advantage of CoT reasoning, and it helps to improve the quality of prompt actions. We further find that later checkpoints are less likely to revise the action in response to CoT, suggesting greater reliance on the prompt. Motivated by these patterns, we selectively mask action-token supervision on a fraction of training examples. This intervention improves out-of-domain generalization.