다중 모드 기억 압축을 통한 장기 적응형 의사 결정

Long-Horizon Embodied Decision-Making via Multimodal Memory Compression

최근 에이전트는 단순히 작업을 수행하는 것뿐만 아니라, 인간 사용자를 대신하여 의사 결정을 내리는 역할까지 요구받고 있습니다. 이러한 변화는 에이전트가 장기간에 걸쳐 증거를 수집하고, 암묵적인 사용자 선호도를 해석하며, 부분적인 정보 하에서 여러 후보를 비교해야 함을 의미합니다. 본 연구에서는 에이전트의 장기적 인간 중심 의사 결정 능력을 평가하기 위한 새로운 벤치마크인 DunphyBench를 제안합니다. DunphyBench는 에이전트가 다양한 가상 환경을 탐색하고, 다차원적인 인간 선호도에 부합하는 결정을 내려야 합니다. 기존의 대부분의 적응형 추론 작업은 절차적 계획 또는 즉각적인 목표 달성에 초점을 맞추는 반면, 본 연구에서는 에이전트가 다양한 모드와 출처에서 얻은 정보를 일관성 있는 지식으로 통합하여 장기간에 걸쳐 복잡한 추론을 수행하도록 요구합니다. 평가 결과, 현재 에이전트의 성능과 인간의 성능 간에는 상당한 격차가 존재한다는 것을 알 수 있습니다. 또한, 최첨단 VLM(Vision-Language Model) 기반 에이전트에 대한 분석 결과, 메모리 관리가 주요 병목 현상 중 하나이며, 원시 다중 모드 데이터는 의사 결정 품질을 저해하는 노이즈를 발생시키는 것으로 나타났습니다. 이러한 문제점을 해결하기 위해, 본 연구에서는 사용자 선호도에 따라 장기적인 기록에서 중요한 정보를 선택적으로 압축하여 메모리 사용량을 줄이는 MeMento라는 기술을 제안합니다. 실험 결과, MeMento는 VLM 기반 에이전트의 정확도를 7.18% 향상시키고, 가장 강력한 기준 모델과 비교하여 메모리 사용량을 85.38% 감소시키는 것으로 나타났습니다.

Agents are increasingly expected to act not only as task executors, but also as decision-makers on behalf of human users. This shift requires agents to accumulate evidence over long horizons, interpret implicit user preferences, and compare multiple candidates under partial observations. In this work, we propose DunphyBench, a new benchmark for evaluating agents on long-horizon human-centered embodied decision-making, where the agent must navigate through multiple embodied housing environments and make decisions that align with multi-dimensional human preferences. Unlike standard embodied reasoning tasks that often focus on procedural planning or immediate goal completion, our setting requires agents to integrate multimodal, multi-source input into coherent knowledge that supports complex reasoning across long horizon. The evaluation results reveal that there is a substantial gap between current agents and human performance. Furthermore, our diagnosis of state-of-the-art VLM-driven agents reveals that memory management is one of the bottlenecks, where raw multimodal history introduces noise that hinders decision quality. Motivated by this finding, we design MeMento, a preference-conditioned multimodal memory compressor that selectively compresses decision-relevant information from long-horizon history based on user preferences with a fixed set of memory tokens. Experiments show that MeMento helps VLM-driven agents improve accuracy by 7.18%, while reducing memory usage by 85.38% compared to the strongest baseline.