대규모 언어 모델을 위한 매니폴드 인식 시간적 도메인 일반화

Manifold-Aware Temporal Domain Generalization for Large Language Models

시간적 분포 변화는 데이터가 시간에 따라 지속적으로 진화하는 대규모 언어 모델(LLM)의 실제 배포 환경에서 빈번하게 발생합니다. 시간적 도메인 일반화(TDG)는 이러한 구조적 진화를 모델링하고자 하지만, 기존 방식들은 전체 파라미터 공간에서의 모델 적응을 특징으로 합니다. 이러한 공식화는 최신 LLM에 적용하기에는 계산상 불가능에 가깝습니다. 본 논문은 파라미터 효율적 미세조정(PEFT) 하에서 TDG의 기하학적 재공식화를 도입합니다. 우리는 모델 진화의 기저에 있는 저차원 시간적 구조가 파라미터 효율적 재매개변수화(reparameterization) 하에서도 보존될 수 있음을 규명하여, 주변 파라미터 공간(ambient parameter space)에서 연산하지 않고도 시간적 모델링이 가능함을 보여줍니다. 이 원리를 바탕으로, 시간적 업데이트를 저랭크 적응 부분공간(low-rank adaptation subspace) 내의 공유된 저차원 매니폴드로 제한하고, 구조화된 시간적 코어를 통해 그 진화를 모델링하는 매니폴드 인식 시간적 LoRA(MaT-LoRA)를 제안합니다. 이 재매개변수화는 표현력을 유지하면서도 시간적 모델링의 복잡성을 획기적으로 줄여줍니다. 과학 문서, 뉴스 발행, 리뷰 평점 등을 포함한 합성 및 실제 데이터셋에 대한 광범위한 실험을 통해, MaT-LoRA가 LLM을 위한 실용적 확장성과 함께 우수한 시간적 일반화 성능을 달성함을 입증합니다.

Temporal distribution shifts are pervasive in real-world deployments of Large Language Models (LLMs), where data evolves continuously over time. While Temporal Domain Generalization (TDG) seeks to model such structured evolution, existing approaches characterize model adaptation in the full parameter space. This formulation becomes computationally infeasible for modern LLMs. This paper introduces a geometric reformulation of TDG under parameter-efficient fine-tuning. We establish that the low-dimensional temporal structure underlying model evolution can be preserved under parameter-efficient reparameterization, enabling temporal modeling without operating in the ambient parameter space. Building on this principle, we propose Manifold-aware Temporal LoRA (MaT-LoRA), which constrains temporal updates to a shared low-dimensional manifold within a low-rank adaptation subspace, and models its evolution through a structured temporal core. This reparameterization dramatically reduces temporal modeling complexity while retaining expressive power. Extensive experiments on synthetic and real-world datasets, including scientific documents, news publishers, and review ratings, demonstrate that MaT-LoRA achieves superior temporal generalization performance with practical scalability for LLMs.