동적 술어 발명을 통한 인과 모델의 지속적 학습 및 개선

Continual learning and refinement of causal models through dynamic predicate invention

복잡한 환경을 효율적으로 탐색하려면 에이전트가 그 세계의 근본적인 논리를 내면화해야 하지만, 표준 세계 모델링 방법들은 종종 샘플 비효율성, 투명성 부족, 낮은 확장성 문제로 어려움을 겪는다. 본 논문에서는 에이전트의 의사결정 루프에 지속적인 모델 학습 및 수정을 통합함으로써 완전히 온라인 상에서 기호적 인과 세계 모델을 구축하는 프레임워크를 제안한다. 이는 메타 해석 학습(Meta-Interpretive Learning)과 술어 발명의 강력한 기능을 활용하여 의미론적으로 유의미하고 재사용 가능한 추상화를 찾아내며, 에이전트가 자신의 관찰로부터 얽힘이 풀린(disentangled) 고품질 개념들의 계층 구조를 구성할 수 있게 한다. 명제적 방법론들이 조합 폭발 문제로 한계를 보이는 복잡한 관계형 동역학을 가진 도메인에서도 제안된 리프티드 추론(lifted inference) 방식이 효과적으로 확장됨을 입증하며, 동시에 기존의 PPO 신경망 기반 베이스라인보다 수십 배 높은 샘플 효율성을 달성함을 보여준다.

Efficiently navigating complex environments requires agents to internalize the underlying logic of their world, yet standard world modelling methods often struggle with sample inefficiency, lack of transparency, and poor scalability. We propose a framework for constructing symbolic causal world models entirely online by integrating continuous model learning and repair into the agent's decision loop, by leveraging the power of Meta-Interpretive Learning and predicate invention to find semantically meaningful and reusable abstractions, allowing an agent to construct a hierarchy of disentangled, high-quality concepts from its observations. We demonstrate that our lifted inference approach scales to domains with complex relational dynamics, where propositional methods suffer from combinatorial explosion, while achieving sample-efficiency orders of magnitude higher than the established PPO neural-network-based baseline.