컨텍스트-에이전트: 비선형 대화를 위한 동적 담화 트리

Context-Agent: Dynamic Discourse Trees for Non-Linear Dialogue

대규모 언어 모델은 다양한 언어 작업에서 뛰어난 성능을 보이지만, 여전히 인간 대화의 비선형적인 흐름을 관리하는 데 근본적인 어려움을 겪습니다. 대화 기록을 단순한 선형 시퀀스로 처리하는 일반적인 접근 방식은 자연스러운 담론의 본질적인 계층적이고 분기적인 구조와 일치하지 않아, 주제 전환이나 지침 개선이 포함된 장기적인 상호 작용 중에 비효율적인 맥락 활용과 일관성 저하를 초래합니다. 이러한 한계를 극복하기 위해, 우리는 다중 턴 대화 기록을 동적 트리 구조로 모델링하는 새로운 프레임워크인 Context-Agent를 소개합니다. 이 접근 방식은 대화의 내재적인 비선형성을 반영하여 모델이 다양한 주제에 해당하는 여러 대화 분기를 유지하고 탐색할 수 있도록 합니다. 또한, 견고한 평가를 용이하게 하기 위해, 장기적인 비선형 시나리오에서 모델의 성능을 평가하도록 특별히 설계된 Non-linear Task Multi-turn Dialogue (NTM) 벤치마크를 소개합니다. 우리의 실험 결과는 Context-Agent가 다양한 LLM에서 작업 완료율을 향상시키고 토큰 효율성을 개선하며, 복잡하고 역동적인 대화를 위한 구조화된 맥락 관리가 얼마나 중요한지를 보여줍니다. 데이터셋과 코드는 GitHub에서 이용 가능합니다.

Large Language Models demonstrate outstanding performance in many language tasks but still face fundamental challenges in managing the non-linear flow of human conversation. The prevalent approach of treating dialogue history as a flat, linear sequence is misaligned with the intrinsically hierarchical and branching structure of natural discourse, leading to inefficient context utilization and a loss of coherence during extended interactions involving topic shifts or instruction refinements. To address this limitation, we introduce Context-Agent, a novel framework that models multi-turn dialogue history as a dynamic tree structure. This approach mirrors the inherent non-linearity of conversation, enabling the model to maintain and navigate multiple dialogue branches corresponding to different topics. Furthermore, to facilitate robust evaluation, we introduce the Non-linear Task Multi-turn Dialogue (NTM) benchmark, specifically designed to assess model performance in long-horizon, non-linear scenarios. Our experiments demonstrate that Context-Agent enhances task completion rates and improves token efficiency across various LLMs, underscoring the value of structured context management for complex, dynamic dialogues. The dataset and code is available at GitHub.