루프 월드 모델 (Looped World Models)
Looped World Models
현재의 월드 모델은 근본적인 어려움에 직면하고 있습니다. 즉, 정확한 장기 예측을 위해서는 복잡한 계산이 필요하지만, 더욱 복잡한 모델은 배포 비용이 높고 오류가 누적되기 쉽습니다. 우리는 이러한 문제를 해결하기 위해 루프 월드 모델 (LoopWM)을 제안합니다. LoopWM은 월드 모델링에 처음으로 적용된 루프 구조를 갖는 아키텍처입니다. 우리의 방법은 파라미터를 공유하는 트랜스포머 블록을 사용하여 잠재 환경 상태를 반복적으로 개선합니다. 이를 통해 기존 방식 대비 최대 100배 더 효율적인 파라미터 사용이 가능하며, 예측 단계의 복잡성에 맞춰 깊이를 자동으로 조절하는 적응적 계산 방식을 적용했습니다. LoopWM은 모델 크기 및 학습 데이터 증가와는 별개로, 반복적인 잠재 심층 분석을 월드 시뮬레이션의 새로운 확장 축으로 제시하며, 이는 연구 분야 발전에 크게 기여할 수 있을 것입니다.
Current world models face a fundamental tension: faithful long-horizon simulation demands deep computation, but deeper models are expensive to deploy and prone to compounding errors. We resolve this by introducing Looped World Models (LoopWM), which are the first looped architectures for world modelling. Our method iteratively refines latent environment states through a parameter-shared transformer block. This yield up to 100x parameter efficiency over conventional approaches with adaptive computation that automatically scales depth to match the complexity of each prediction step. Orthogonal to scaling model size and training data, LoopWM establishes iterative latent depth as a new scaling axis for world simulation, which might significantly push the community forward.
No Analysis Report Yet
This paper hasn't been analyzed by Gemini yet.
Log in to request an AI analysis.