케플러에서 뉴턴으로: 귀납적 편향이 트랜스포머의 학습된 세계 모델을 안내하다

From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers

일반적인 인공지능 아키텍처가 예측을 넘어 우주를 지배하는 물리 법칙을 발견할 수 있을까요? 진정한 지능은 '세계 모델'에 의존합니다. 이는 원인이 되는 추상화로, 에이전트가 미래 상태를 예측하는 것뿐만 아니라, 그 근본적인 작동 원리를 이해할 수 있도록 합니다. 기존의 'AI 물리학자' 접근 방식은 이러한 법칙을 성공적으로 복원했지만, 일반적으로 특정 도메인에 특화된 강력한 사전 지식을 활용하여 물리 법칙을 '내재화'하는 경향이 있습니다. 반대로, Vafa et al.은 최근 연구에서 일반적인 트랜스포머가 이러한 세계 모델을 습득하지 못하며, 높은 예측 정확도를 달성하지만, 그 근본적인 물리 법칙을 파악하지 못한다는 것을 보여주었습니다. 우리는 세 가지의 최소한의 귀납적 편향을 체계적으로 도입하여 이러한 간극을 해소합니다. 공간적 매끄러움(예측을 연속 회귀 문제로 공식화하여)과 안정성(오류 누적을 완화하기 위해 노이즈가 있는 환경에서 학습)을 보장하면 일반적인 트랜스포머가 이전의 실패를 극복하고 일관된 케플러 세계 모델을 학습할 수 있으며, 행성 궤적에 타원을 성공적으로 맞출 수 있습니다. 그러나 진정한 물리적 통찰력을 얻으려면 세 번째 편향, 즉 시간적 국소성이 필요합니다. 즉시 과거에 주의 범위를 제한함으로써 – 미래 상태가 복잡한 과거가 아닌, 단지 현재 상태에만 의존한다는 단순한 가정을 부과함으로써 – 모델이 단순한 곡선 적합을 버리고 뉴턴의 힘 표현을 발견하도록 합니다. 우리의 연구 결과는 간단한 아키텍처 선택이 AI가 단순한 곡선 적합 모델이 되는지, 아니면 물리 법칙을 이해하는 모델이 되는지를 결정하며, 이는 자동화된 과학적 발견을 향한 중요한 단계임을 보여줍니다.

Can general-purpose AI architectures go beyond prediction to discover the physical laws governing the universe? True intelligence relies on "world models" -- causal abstractions that allow an agent to not only predict future states but understand the underlying governing dynamics. While previous "AI Physicist" approaches have successfully recovered such laws, they typically rely on strong, domain-specific priors that effectively "bake in" the physics. Conversely, Vafa et al. recently showed that generic Transformers fail to acquire these world models, achieving high predictive accuracy without capturing the underlying physical laws. We bridge this gap by systematically introducing three minimal inductive biases. We show that ensuring spatial smoothness (by formulating prediction as continuous regression) and stability (by training with noisy contexts to mitigate error accumulation) enables generic Transformers to surpass prior failures and learn a coherent Keplerian world model, successfully fitting ellipses to planetary trajectories. However, true physical insight requires a third bias: temporal locality. By restricting the attention window to the immediate past -- imposing the simple assumption that future states depend only on the local state rather than a complex history -- we force the model to abandon curve-fitting and discover Newtonian force representations. Our results demonstrate that simple architectural choices determine whether an AI becomes a curve-fitter or a physicist, marking a critical step toward automated scientific discovery.