정리 후 검색: 효율적인 에이전트를 위한 계층적 메모리 탐색

Organize then Retrieve: Hierarchical Memory Navigation for Efficient Agents

대규모 언어 모델(LLM) 기반 에이전트는 고정된 상태성으로 인해 장기적인 과제 수행에 어려움을 겪으며, 모든 관련 정보를 증가하는 입력 컨텍스트에 포함시켜야 합니다. 이러한 과정에서 추론 품질 저하, 계산 비용 증가, 그리고 지연 시간 증가는 효율적인 작업 메모리 메커니즘의 필요성을 야기합니다. 그러나 기존 방식들은 대부분 정보 손실을 동반하는 압축 기술이나 유사성 기반 검색을 사용하며, 이는 다단계 에이전트 과제에 필요한 시간적 구조와 인과 관계를 제대로 반영하지 못하는 경우가 많습니다. 본 연구에서는 HORMA(Hierarchical Organize-and-Retrieve Memory Agent)라는 계층적 정리 및 검색 메모리 에이전트를 제안합니다. HORMA는 경험을 파일 시스템과 유사한 계층 구조로 구성하며, 요약된 개체를 해당 원본 데이터 경로와 연결하여 상세 정보를 잃지 않고 효율적인 접근을 가능하게 합니다. HORMA는 작업 메모리를 두 단계로 분리합니다: 구조화된 메모리 구축 및 탐색 기반 검색. 구축 모듈은 실패의 원인을 누락된 정보인지, 아니면 오해를 불러일으키거나 과도한 컨텍스트로 인한 것인지 구분하여 경험을 어떻게 구조화할지를 반복적으로 개선합니다. 탐색 모듈은 경량 에이전트를 사용하여 계층 구조를 탐색하며, 강화 학습으로 훈련되어 최소한의 충분한 컨텍스트를 선택하여 중요한 실행 경로에서의 지연 시간을 줄입니다. ALFWorld, LoCoMo, 그리고 LongMemEval 데이터셋에서 HORMA는 제한된 컨텍스트 예산 하에서 작업 성능을 향상시키며, 긴 대화 과제에서는 최대 22.17%의 토큰 사용량만 필요합니다. 기존 방법과 비교하여 일관되게 더 나은 효율성과 성능 간의 균형을 제공하며, 새로운 과제에 대한 일반화 능력 또한 뛰어납니다.

Large language model (LLM) agents struggle with long-horizon tasks due to their inherent statelessness, requiring all task-relevant information to be encoded in growing input contexts. The resulting degraded reasoning quality, increased inference cost, and higher latency necessitate efficient working memory mechanisms. However, existing approaches either rely on lossy compression or similarity-based retrieval, which often fail to capture temporal structure and causal dependencies required for multi-step agentic tasks. In this work, we present HORMA, a Hierarchical Organize-and-Retrieve Memory Agent that organizes experience into a file-system-like hierarchical structure, where summarized entities are linked to the corresponding raw trajectories, enabling efficient access without losing detailed information. HORMA decomposes working memory into two stages: structured memory construction and navigation-based retrieval. The construction module iteratively refines how experiences are structured by distinguishing between failures caused by missing information and those caused by misleading or overloaded context. The navigation module retrieves task-relevant context by traversing the hierarchy using a lightweight agent trained with reinforcement learning to select minimal yet sufficient context, thereby reducing latency along the critical execution path. Across ALFWorld, LoCoMo, and LongMemEval, HORMA improves task performance under constrained context budgets while requiring at most 22.17% of the baseline token usage in long conversation tasks. Compared to existing methods, it consistently achieves better efficiency-performance trade-offs and generalizes effectively to unseen tasks.