ACR: 컨텍스트 리팩토링 연산자를 활용한 적응형 컨텍스트 리팩토링을 통한 다중 턴 대화

ACR: Adaptive Context Refactoring via Context Refactoring Operators for Multi-Turn Dialogue

대규모 언어 모델(LLM)은 다중 턴 대화에서 뛰어난 성능을 보여주었습니다. 그러나 다중 턴 대화에서 모델은 여전히 이전에 설정된 내용과 일관성을 유지하고, 여러 턴에 걸친 의존성을 따르며, 대화가 길어짐에 따라 잘못된 사실로의 편향을 피하는 데 어려움을 겪습니다. 기존 접근 방식은 주로 컨텍스트 창을 확장하거나, 외부 메모리를 도입하거나, 컨텍스트 압축을 적용하는 데 중점을 두지만, 이러한 방법은 여전히 extbf{컨텍스트 관성} 및 extbf{상태 드리프트}와 같은 한계에 직면합니다. 이러한 과제를 해결하기 위해, 우리는 컨텍스트 관성과 상태 드리프트를 적극적으로 완화하기 위해 상호 작용 기록을 동적으로 모니터링하고 재구성하는 extbf{A}daptive extbf{C}ontext extbf{R}efactoring ( extbf{ACR}) 프레임워크를 제안합니다. ACR은 컨텍스트 리팩토링 연산자 라이브러리와, 언제 개입해야 하고 어떻게 리팩토링해야 하는지를 학습하는 교사 지도 자기 진화 훈련 패러다임으로 구성되어 있으며, 이를 통해 컨텍스트 관리와 추론 과정을 분리합니다. 다중 턴 대화에 대한 광범위한 실험 결과, 제안하는 방법은 기존의 기준 성능을 크게 능가하는 동시에 토큰 사용량을 줄이는 것으로 나타났습니다.

Large Language Models (LLMs) have shown remarkable performance in multi-turn dialogue. However, in multi-turn dialogue, models still struggle to stay aligned with what has been established earlier, follow dependencies across many turns, and avoid drifting into incorrect facts as the interaction grows longer. Existing approaches primarily focus on extending the context window, introducing external memory, or applying context compression, yet these methods still face limitations such as \textbf{contextual inertia} and \textbf{state drift}. To address these challenges, we propose the \textbf{A}daptive \textbf{C}ontext \textbf{R}efactoring \textbf{(ACR)} Framework, which dynamically monitors and reshapes the interaction history to mitigate contextual inertia and state drift actively. ACR is built on a library of context refactoring operators and a teacher-guided self-evolving training paradigm that learns when to intervene and how to refactor, thereby decoupling context management from the reasoning process. Extensive experiments on multi-turn dialogue demonstrate that our method significantly outperforms existing baselines while reducing token consumption.