동일한 증거, 다른 답변: 다중 회전 언어 모델을 위한 정규화된 컨텍스트 기반 강화 학습

Same Evidence, Different Answers: Canonical-Context On-Policy Distillation for Multi-Turn Language Models

대규모 언어 모델(LLM)은 종종 모든 지시 사항이 단일 프롬프트로 제공될 때 작업을 해결하지만, 동일한 정보가 여러 단계에 걸쳐 점진적으로 제시되면 실패하는 경우가 많습니다. 완전한 정보를 담은 프롬프트와 점진적으로 드러나는 대화에서 사용자의 증거가 동일할 경우, 모델은 여전히 동일한 답변에 도달해야 합니다. 우리는 이러한 격차의 주요 원인이 '자기 참조 드리프트(self-anchored drift)'라고 주장합니다. 부분적인 정보 하에서 생성된 응답은 뒷받침되지 않는 가정들을 도입하며, 이러한 가정들이 나중에 최종 답변을 왜곡합니다. 이 효과를 줄이기 위해, 우리는 정규화된 컨텍스트 기반 강화 학습(Canonical-Context On-Policy Distillation, CCOPD)을 제안합니다. 훈련 과정에서 동일한 기본 모델이 두 가지 역할을 수행합니다. 하나는 완전한 정보를 담은 프롬프트에 조건부로 설정되는 고정된 '선생님' 모델이고, 다른 하나는 사용자의 증거를 점진적으로 여러 단계의 대화를 통해 받는 학습 가능한 '학생' 모델입니다. CCOPD는 학생 모델이 자체적인 경로에서 보이는 행동을 선생님 모델의 정규화된 전체 컨텍스트 기반 행동과 일치시키도록 합니다. 수학 문제 관련 대화 데이터로만 훈련된 CCOPD는 원래 기본 모델에 비해 수학 문제 및 다섯 가지 제로샷(zero-shot) 외부 도메인 작업에서 평균적으로 32%의 성능 향상을 보였으며, 전체 컨텍스트에서의 성능은 크게 유지되었습니다. 추가적인 분석 결과, CCOPD는 사용자 증거에 대한 이해도를 높이고 이전 어시스턴트 응답으로 인한 영향을 줄이는 데 효과적임을 알 수 있습니다.

Large language models (LLMs) often solve a task when all instructions are given in a single prompt, but fail when the same information is revealed gradually across turns. When a clean FULL prompt and a RAW-SHARDED conversation contain the same complete user evidence, the model should still arrive at the same answer. We argue that a key reason for this gap is self-anchored drift: responses produced under partial information introduce unsupported assumptions, and those assumptions later distort the final answer. To reduce this effect, we propose Canonical-Context On-Policy Distillation (CCOPD). During training, the same base model is used in two roles: a frozen teacher conditioned on the clean FULL prompt and a trainable student that receives the same evidence incrementally through a multi-turn conversation; CCOPD aligns the student's behavior on its own trajectories with the teacher's canonical full-context behavior. Trained only on math problem conversations, CCOPD yields a 32\% average relative improvement in RAW-SHARDED performance over the original base model across math and five zero-shot out-of-domain task families, while largely preserving full-context performance. Further analyses suggest that CCOPD strengthens grounding in user evidence and reduces sensitivity to contamination from earlier assistant turns.