Diff-MN: 확산 모델 기반 모듈 네트워크 신경망 제어 미분 방정식 (MoE-NCDE)을 이용한 불규칙 관측 데이터 기반 연속 시간 시계열 생성

Diff-MN: Diffusion Parameterized MoE-NCDE for Continuous Time Series Generation with Irregular Observations

시간 시계열 생성(TSG)은 다양한 분야에서 널리 사용되지만, 기존 방법들은 대부분 규칙적인 샘플링과 고정된 출력 해상도를 가정합니다. 이러한 가정은 실제 환경에서 관측 데이터가 불규칙하고 희소하며, 다운스트림 애플리케이션에서는 연속적이고 고해상도의 시계열 데이터가 필요하기 때문에 자주 위배됩니다. 신경망 제어 미분 방정식(NCDE)은 불규칙한 시계열 모델링에 유망하지만, 단일 동역학 함수, 밀접하게 결합된 최적화, 그리고 생성 모델에서 생성된 새로운 샘플에 대한 학습된 동역학의 제한적인 적응 능력을 가지고 있습니다. 본 논문에서는 NCDE의 동역학 함수를 Mixture-of-Experts(MoE) 구조로 개선하고, 동역학 학습에 집중할 수 있도록 분리된 아키텍처 설계를 통해 NCDE의 성능을 향상시킨 연속 TSG 프레임워크인 Diff-MN을 제안합니다. 또한, NCDE가 생성된 새로운 샘플에 대한 일반화 능력을 갖도록, 확산 모델을 사용하여 NCDE의 시간 동역학 매개변수(MoE 가중치)를 파라미터화하고, 시계열 데이터의 분포와 MoE 가중치를 동시에 학습합니다. 이러한 설계는 시계열 데이터 생성에 특화된 NCDE 매개변수를 생성하여 연속적인 시계열 생성을 가능하게 합니다. 열 개의 공개 및 합성 데이터셋에 대한 실험 결과, Diff-MN은 불규칙-정규 및 불규칙-연속 시계열 생성 작업 모두에서 강력한 기준 모델보다 우수한 성능을 보였습니다. 코드의 공개는 다음 링크에서 확인할 수 있습니다: https://github.com/microsoft/TimeCraft/tree/main/Diff-MN.

Time series generation (TSG) is widely used across domains, yet most existing methods assume regular sampling and fixed output resolutions. These assumptions are often violated in practice, where observations are irregular and sparse, while downstream applications require continuous and high-resolution TS. Although Neural Controlled Differential Equation (NCDE) is promising for modeling irregular TS, it is constrained by a single dynamics function, tightly coupled optimization, and limited ability to adapt learned dynamics to newly generated samples from the generative model. We propose Diff-MN, a continuous TSG framework that enhances NCDE with a Mixture-of-Experts (MoE) dynamics function and a decoupled architectural design for dynamics-focused training. To further enable NCDE to generalize to newly generated samples, Diff-MN employs a diffusion model to parameterize the NCDE temporal dynamics parameters (MoE weights), i.e., jointly learn the distribution of TS data and MoE weights. This design allows sample-specific NCDE parameters to be generated for continuous TS generation. Experiments on ten public and synthetic datasets demonstrate that Diff-MN consistently outperforms strong baselines on both irregular-to-regular and irregular-to-continuous TSG tasks. The code is available at the link https://github.com/microsoft/TimeCraft/tree/main/Diff-MN.