PolarMem: 검증 가능한 멀티모달 에이전트를 위한 비학습형 양극화 잠재 그래프 메모리

PolarMem: A Training-Free Polarized Latent Graph Memory for Verifiable Multimodal Agents

멀티모달 에이전트가 수동적인 관찰자에서 장기적인 의사 결정자로 진화함에 따라, 단순한 정보의 가용성뿐만 아니라 논리적 검증 가능성을 제공하는 메모리 시스템이 요구되고 있다. 현재 아키텍처의 근본적인 한계는 확률적 비전-언어 모델과 밀집 연관 메모리에 내재된 인식론적 비대칭성이다. 이들은 의미론적 유사성과 사실적 존재를 혼동하며, 부정 제약 조건을 구조적으로 인코딩하지 못한다. 이를 해결하기 위해, 우리는 에이전트의 추론을 검증 가능한 증거에 기반하도록 설계된 비학습형 양극화 잠재 그래프 메모리인 PolarMem을 제안한다. PolarMem은 비모수적 분포 분할을 통해 모호한 지각적 우도(likelihood)를 이산적인 논리적 제약 조건으로 변환한다. 또한, 직교 억제 연결을 갖춘 양극화된 그래프 토폴로지를 사용하여 검증된 부정을 주요 인지 상태로 명시적으로 저장한다. 추론 시에는 논리 주도형 검색 패러다임을 적용하여 부정 제약 조건을 위반하는 환각 패턴을 억제한다. 8개의 동결된(frozen) 비전-언어 모델과 6개의 벤치마크에 걸친 광범위한 평가를 통해, PolarMem이 견고한 인지 시스템으로 기능하며 검증 가능한 멀티모달 에이전트를 위한 기반을 확립했음을 입증한다. 코드는 https://github.com/czs-ict/PolarMem 에서 이용 가능하다.

As multimodal agents evolve from passive observers to long-horizon decision-makers, they require memory systems that provide not just information availability but logical verifiability. A fundamental limitation of current architectures is the epistemic asymmetry inherent in probabilistic vision-language models and dense associative memories: they conflate semantic affinity with factual existence and structurally fail to encode negative constraints. To this end, we introduce PolarMem, a training-free Polarized Latent Graph Memory designed to ground agent reasoning in verifiable evidence. PolarMem transforms fuzzy perceptual likelihoods into discrete logical constraints through non-parametric distributional partitioning. Furthermore, it employs a polarized graph topology with orthogonal inhibitory connections to explicitly store verified negation as a primary cognitive state. At inference time, we enforce a logic-dominant retrieval paradigm, suppressing hallucinatory patterns that violate negative constraints. Extensive evaluation across eight frozen Vision--Language Models and six benchmarks demonstrates that PolarMem functions as a robust cognitive system, establishing a foundation for verifiable multimodal agents. Our code is available at https://github.com/czs-ict/PolarMem.