PhysNote: 시각-언어 모델의 진화 가능한 물리적 추론을 위한 자기 인식 기반 지식 노트

PhysNote: Self-Knowledge Notes for Evolvable Physical Reasoning in Vision-Language Model

시각-언어 모델(VLMs)은 교과서 스타일의 물리 문제에서 뛰어난 성능을 보이지만, 프레임 간 시간적 일관성과 인과적 추론이 필요한 역동적인 실제 시나리오에서는 자주 실패합니다. 이러한 실패의 근본적인 원인은 두 가지입니다. (1) 시공간적 동일성 드리프트로, 객체가 연속적인 프레임에서 물리적 동일성을 잃고 인과 관계를 단절시키며, (2) 추론 시 통찰력의 불안정성으로, 모델이 때때로 올바른 물리적 추론을 수행하지만, 이를 미래에 재사용하기 위해 체계적으로 통합하지 못합니다. 이러한 문제점을 해결하기 위해, 우리는 VLMs가 자기 생성된 "지식 노트"를 통해 물리적 지식을 외부화하고 개선할 수 있도록 하는 에이전트 기반 프레임워크인 PhysNote를 제안합니다. PhysNote는 시공간적 정규화를 통해 동적 인식을 안정화하고, 자기 생성된 통찰력을 계층적 지식 저장소에 구성하며, 가설을 시각적 증거에 기반하여 검증하기 전에 반복적인 추론 루프를 통해 검증된 지식을 통합합니다. PhysBench에 대한 실험 결과, PhysNote는 전체 정확도가 56.68%로, 최상의 멀티 에이전트 기준 모델보다 4.96% 향상되었으며, 네 가지 물리적 추론 영역 모두에서 일관된 성능 향상을 보였습니다.

Vision-Language Models (VLMs) have demonstrated strong performance on textbook-style physics problems, yet they frequently fail when confronted with dynamic real-world scenarios that require temporal consistency and causal reasoning across frames. We identify two fundamental challenges underlying these failures: (1) spatio-temporal identity drift, where objects lose their physical identity across successive frames and break causal chains, and (2) volatility of inference-time insights, where a model may occasionally produce correct physical reasoning but never consolidates it for future reuse. To address these challenges, we propose PhysNote, an agentic framework that enables VLMs to externalize and refine physical knowledge through self-generated "Knowledge Notes." PhysNote stabilizes dynamic perception through spatio-temporal canonicalization, organizes self-generated insights into a hierarchical knowledge repository, and drives an iterative reasoning loop that grounds hypotheses in visual evidence before consolidating verified knowledge. Experiments on PhysBench demonstrate that PhysNote achieves 56.68% overall accuracy, a 4.96% improvement over the best multi-agent baseline, with consistent gains across all four physical reasoning domains.