분산 환경의 시계열 기초 모델을 위한 이산 프로토타입 메모리

Discrete Prototypical Memories for Federated Time Series Foundation Models

대규모 언어 모델(LLM)을 연합 학습(FL) 기반 시계열 기초 모델로 활용하는 것은 LLM의 일반화 능력을 시계열 데이터에 적용하면서도 개인 정보에 대한 접근을 유지하는 유망한 방법입니다. 그러나 기존 LLM의 텍스트 중심 잠재 공간과 시계열 데이터 간의 의미적 불일치는 종종 성능 저하를 초래합니다. 또한, 기존 연합 학습 방법의 파라미터 공유 메커니즘은 이질적인 교차 도메인 시계열 데이터를 단일 연속 잠재 공간으로 모델링하는데, 이는 시계열 의미가 종종 이산적이고 반복적인 패턴으로 나타나는 사실과 모순됩니다. 이러한 제한 사항을 해결하기 위해, 우리는 이산 프로토타입 메모리를 기반으로 하는 시계열 기초 모델을 위한 연합 프레임워크인 extsc{FeDPM}을 제안합니다. 구체적으로, 우리는 각 도메인 내 시계열 데이터에 대한 로컬 프로토타입 메모리 사전 지식을 학습합니다. 그런 다음, 교차 도메인 메모리를 정렬하여 통합된 이산 잠재 공간을 촉진하고, 공유된 지식과 개인화된 지식 간의 균형을 유지하기 위해 도메인별 메모리 업데이트 메커니즘을 도입합니다. 광범위한 실험 결과는 extsc{FeDPM}의 효율성과 효과성을 입증합니다. 코드는 다음 URL에서 공개적으로 이용할 수 있습니다: https://anonymous.4open.science/r/FedUnit-64D1.

Leveraging Large Language Models (LLMs) as federated learning (FL)-based time series foundation models offers a promising way to transfer the generalization capabilities of LLMs to time series data while preserving access to private data. However, the semantic misalignment between time-series data and the text-centric latent space of existing LLMs often leads to degraded performance. Meanwhile, the parameter-sharing mechanism in existing FL methods model heterogeneous cross-domain time-series data into a unified continuous latent space, which contradicts the fact that time-series semantics frequently manifest as discrete and recurring regimes. To address these limitations, we propose \textsc{FeDPM}, a federated framework for time-series foundation models based on discrete prototypical memories. Specifically, we learn local prototypical memory priors for intra-domain time-series data. We then align cross-domain memories to promote a unified discrete latent space and introduce a domain-specific memory update mechanism to balance shared and personalized prototypical knowledge. Extensive experiments demonstrate the efficiency and effectiveness of \textsc{FeDPM}. The code is publicly available at https://anonymous.4open.science/r/FedUnit-64D1.