AI 에이전트의 장기 컨텍스트 창 제어를 위한 주소 지정 기반 기억 압축

Addressable Recall Compaction for Long Context-Window Control in AI Agents

장기적인 추론 과정을 수행하는 LLM 에이전트는 추론 기록, 행동 및 도구 사용 정보를 축적하며, 이는 모델의 고정된 컨텍스트 창 용량을 초과할 수 있습니다. 기존의 압축 방법은 이러한 제한을 해결하기 위해 이전 정보를 삭제하거나 요약하고 검색하지만, 중요한 작업 관련 세부 정보가 제거되거나 신뢰성 있게 복구되지 않을 수 있습니다. 본 논문에서는 아키빙 저장 공간과 활성 컨텍스트 표현을 분리하는 컨텍스트 관리 프레임워크인 ARC (Addressable Recall Compaction)를 제안합니다. ARC는 도구 사용 정보를 ID로 주소 지정된 로그에 추가적으로 저장하고, 압축이 필요할 때 오래된 정보를 간결한 인용문으로 대체합니다. 에이전트는 이후 이러한 식별자를 사용하여 해당 도구를 다시 실행하지 않고 또는 유사성 기반 검색에만 의존하지 않고 저장된 콘텐츠를 요청할 수 있습니다. 우리는 16k 컨텍스트 창을 가진 Qwen3-8B 모델과 32k 컨텍스트 창을 가진 Qwen3-32B 모델을 사용하여 ARC를 평가했습니다. Needle-in-a-Haystack 평가에서 ARC는 평균 정확도가 99.40%로, 평가에 사용된 최적의 기준 모델의 88.12%보다 높았습니다. 또한 ARC는 하드웨어 비용 모델 하에서 추정 서비스 시간과 HBM 트래픽을 줄입니다. LongBench-v2 Hard 데이터 세트에서는 ARC가 평균 정확도가 29.97%로, 최적의 기준 모델의 28.25%보다 높았습니다. 이러한 결과는 명시적인 주소 기반 기억이 평가된 컨텍스트 관리 기준과 비교하여 정보 유지 및 서비스 효율성을 향상시킬 수 있음을 나타냅니다.

Long-horizon LLM agents accumulate reasoning traces, actions, and tool observations that can eventually exceed a model's fixed context window. Existing compaction methods address this limitation by discarding, summarizing, or retrieving earlier information, but they may remove task-critical details or fail to recover them reliably. We propose ARC (Addressable Recall Compaction), a context-management framework that separates archival storage from active-context presentation. ARC stores tool observations in an append-only, ID-addressable log and replaces older observations with compact citations when compaction is required. The agent can subsequently use these identifiers to request stored content without re-executing the corresponding tools or depending solely on similarity-based retrieval. We evaluate ARC using Qwen3-8B with a 16k context window and Qwen3-32B with a 32k context window. On the Needle-in-a-Haystack evaluation, ARC achieves an average exact-answer accuracy of 99.40%, compared with 88.12% for the best-performing baseline in our evaluation. ARC also reduces estimated serving time and HBM traffic under our hardware-cost model. On the LongBench-v2 Hard subset, ARC obtains an average accuracy of 29.97%, compared with 28.25% for the best-performing baseline. These results indicate that explicit, address-based recall can improve information retention and serving efficiency relative to the evaluated context-management baselines under the tested settings.