표현 관점에서 동역학 모델링을 보다 쉽게 일반화하는 방법

Generalizing Dynamics Modeling More Easily from Representation Perspective

시스템 동역학을 관찰 데이터로부터 학습하는 것은 기후, 생태계, 유체 시스템 등 다양한 실제 복잡 시스템에 걸쳐 중요한 문제입니다. 최근에는 신경망 동역학 모델링 방법이 널리 사용되고 있으며, 이는 신경망 기반 방법(예: 신경망 상미분 방정식)을 사용하여 동역학을 학습하기 전에 객체의 관찰 데이터를 잠재 공간에 임베딩하는 방식입니다. 기존의 동역학 모델링 방법은 다양한 복잡 시스템의 각 관찰 데이터에 대해 특정 모델을 유도하므로 시스템 간의 일반화 성능이 좋지 않습니다. 사전 학습된 모델의 성공에 영감을 받아, 우리는 원래 상태 관찰 데이터를 잠재 공간에 임베딩하여 동역학을 보다 쉽게 파악할 수 있도록 하는 일반화된 사전 학습 동역학 인코더(PDEDER)를 제안합니다. 일반화된 PDEDER를 구현하기 위해, 우리는 사전 학습된 언어 모델(PLM)을 Lyapunov 지수 목적 함수를 최소화하도록 사전 학습시킵니다. 이는 잠재 공간에서 학습되는 지배적인 동역학의 혼돈스러운 행동을 제약합니다. 임베딩된 관찰 데이터의 발산을 페널티로 부과함으로써, PDEDER는 로컬적으로 안정적이고 잘 구조화된 잠재 동역학을 촉진하여, 원래 관찰 공간보다 더 효과적인 동역학 모델링을 가능하게 합니다. 또한, 우리는 과도하게 평활화된 잠재 공간을 얻을 위험을 완화하기 위해 재구성 및 예측 목적 함수를 통합합니다. 구체적으로, 우리는 23개의 복잡 시스템에서 수집된 152개의 실제 및 합성 관찰 데이터 세트를 사전 학습 코퍼스로 사용하여 PDEDER를 사전 학습시킵니다. 임의의 미래 동역학 관찰 데이터가 주어지면, PDEDER를 임의의 특정 동역학 모델링 방법으로 미세 조정할 수 있습니다. 우리는 PDEDER를 12개의 동적 시스템에 대해 단기/장기 예측을 수행하여 평가했으며, 실험 결과는 PDEDER의 효과성과 일반화 가능성을 보여줍니다.

Learning system dynamics from observations is a critical problem in many applications over various real-world complex systems, e.g., climate, ecology, and fluid systems. Recently, neural dynamics modeling method have become a prevalent solution that embeds the object's observations into a latent space before learning dynamics using neural methods such as neural Ordinary Differential Equations (ODE). Existing dynamics modeling methods induce a specific model for each observation of different complex systems, resulting in poor generalization across systems. Inspired by the great success of pre-trained models, we conduct a generalized Pre-trained Dynamics EncoDER (PDEDER) which can embed the original state observations into a latent space where the dynamics can be captured more easily. To conduct the generalized PDEDER, we pre-train any Pre-trained Language Model (PLM) by minimizing the Lyapunov exponent objective, which constrains the chaotic behavior of governing dynamics learned in the latent space. By penalizing the divergence of embedded observations, our PDEDER promotes locally stable and well-structured latent dynamics, thereby facilitating more effective dynamics modeling than in the original observation space. In addition, we incorporate reconstruction and forecasting objectives to mitigate the risk of obtaining an over-smoothed latent space. Specifically, we collect 152 sets of real-world and synthetic observations from 23 complex systems as pre-training corpora and employ them to pre-train PDEDER. Given any future dynamic observation, we can fine-tune PDEDER with any specific dynamics modeling method. We evaluate PDEDER on 12 dynamic systems by short/long-term forecasting under both in-domain and cross-domain settings, and the empirical results indicate the effectiveness and generalizability of PDEDER.