대규모 언어 모델은 스스로 생성한 답변으로부터 이점을 얻을 수 있는가?

Do LLMs Benefit From Their Own Words?

대규모 언어 모델과의 다중 턴 상호 작용에서, 일반적으로 어시스턴트의 이전 답변이 대화 기록에 유지됩니다. 본 연구에서는 이 설계 방식을 재검토하여, 대규모 언어 모델이 자신의 이전 답변을 참조하는 것이 실제로 도움이 되는지 질문합니다. 실제 다중 턴 대화를 사용하여, 세 개의 오픈 소스 추론 모델과 최첨단 모델에 대해 표준 (전체 컨텍스트) 프롬프트 방식과 모든 이전 어시스턴트 답변을 제외하는 사용자 턴 전용 프롬프트 방식을 비교했습니다. 놀랍게도, 이전 어시스턴트 답변을 제거해도 상당수의 턴에서 응답 품질에 영향을 미치지 않는다는 것을 발견했습니다. 어시스턴트 측의 기록을 생략하면 누적 컨텍스트 길이를 최대 10배까지 줄일 수 있습니다. 이러한 결과를 설명하기 위해, 다중 턴 대화에서 상당한 비율 (36.4%)이 독립적인 프롬프트를 구성하며, 많은 후속 프롬프트가 현재 사용자 턴과 이전 사용자 턴만으로 답변할 수 있을 만큼 충분한 정보를 제공한다는 것을 확인했습니다. 사용자 턴 전용 프롬프트가 전체 컨텍스트보다 훨씬 뛰어난 성능을 보이는 경우를 분석한 결과, 모델이 이전 답변에 과도하게 의존하여 오류, 환각 또는 스타일적 결함을 유발하는 '컨텍스트 오염' 현상이 발생하는 경우가 있음을 확인했습니다. 이러한 발견에 따라, 어시스턴트 측의 컨텍스트를 선택적으로 생략하는 컨텍스트 필터링 방식을 설계했습니다. 우리의 연구 결과는, 어시스턴트 기록을 선택적으로 생략하면 응답 품질을 향상시키면서 메모리 소비를 줄일 수 있음을 시사합니다.

In multi-turn conversations, large language models typically condition on the full conversation history: both past user prompts and assistant responses. We revisit this design choice by comparing full-context prompting to four alternative, substantially-reduced context configurations. Analyzing in-the-wild multi-turn conversations across three open reasoning and one state-of-the-art model, we find that response quality is largely preserved under aggressive context filtering: replacing all prior assistant turns with one-sentence summaries or keeping only the most recent user--assistant exchange often matches storing full context in performance while using roughly 8x less context. To understand this result, we observe that a substantial fraction of user turns (36.4%) in multi-turn conversations are self-contained and that many follow-up turns can be addressed by seeing only the immediately preceding user--assistant exchange. Furthermore, we find that when models condition on their own past responses, this can lead to context pollution, a phenomenon in which reasoning errors, hallucinations, or stylistic artifacts propagate across turns. Motivated by these findings, we design a context-filtering approach that selectively omits the assistant-side history. Taken together, these findings suggest moving away from storing full dialogue transcripts and instead retaining only what is relevant.