일반화 능력을 갖춘 에이전트가 기억해야 할 것은 무엇인가?

What Must Generalist Agents Remember?

본 논문은 일반화 능력을 갖춘 에이전트가 여러 환경과 목표에 대해 최적에 가까운 행동을 수행하기 위해 메모리에 저장해야 하는 내용을 형식적으로 설명합니다. 두 영역이 관찰 제약 조건을 공유하지만 호환되지 않는 최적의 행동을 요구할 때, 균일하게 최적에 가까운 정책은 해당 제약 조건에서 뚜렷한 메모리 분포를 유발해야 합니다. 이 결과는 분리 정리를 제시하며, 충분히 성공적인 에이전트는 현재 상태 관찰만으로는 불가능하며, 도메인 관련 정보를 메모리에 보존해야 합니다. 또한, 에이전트의 메모리가 관련된 목표에 대한 값을 추정할 수 있을 만큼 충분한 정보를 포함하는 경우, 해당 메모리는 에이전트의 지역적 상태 전이 동역학을 근사적으로 재구성하는 데 사용될 수 있습니다. 종합적으로, 이러한 결과는 메모리를 일반화 능력을 갖춘 에이전트가 도메인 구별, 상태 전이 모델 재구성 및 계획을 지원하는 기반으로 특징짓습니다.

This paper develops a formal account of what generalist agents must store in memory in order to act near-optimally across multiple environments and goals. It shows that when two domains share an observational bottleneck but require incompatible optimal actions, any uniformly near-optimal policy must induce distinct memory distributions at that bottleneck. The result yields a separation theorem: sufficiently successful agents cannot rely only on current state observations, but must preserve domain-relevant information in memory. The paper further shows that if an agent's memory contains enough information to estimate values for related goals, then that memory can be used to approximately reconstruct the agent's local transition dynamics. Together, these results characterize memory as the substrate that supports domain disambiguation, transition-model reconstruction, and planning for generalist agents.