PDE 기반 기초 모델의 비지도 적응

Unsupervised Adaptation of PDE Foundation Models

사전에 학습된 편미분 방정식(PDE) 기반 기초 모델은 다양한 방정식에 대해 일반화될 수 있지만, 새로운 PDE 시스템에 적용하는 데는 일반적으로 밀집된 해 데이터가 필요하며, 이는 종종 비용이 많이 들거나 구할 수 없는 경우가 많습니다. 이러한 제약을 해결하기 위해, 우리는 진실 데이터를 사용하지 않고 PDE를 기반으로 하는 미세 조정 프레임워크를 제안합니다. 먼저, 다양한 공간 척도를 갖는 시계열 PDE에 대해 이웃 주의(neighborhood attention) 트랜스포머를 사전 학습하여 다양한 방정식 간에 전이 가능한 표현을 얻습니다. 적응 단계에서, 우리는 PDE 잔류항과 경계 조건을 사용하여 물리 기반 객관 함수를 구성하고, 저차원 적응(LoRA)을 통해 새로운 방정식에 대한 모델을 미세 조정합니다. 표준 LoRA에서 발생하는 물리량 간의 불균형한 학습 문제를 해결하기 위해, 뉴턴-슐츠 직교화 변형인 NSLoRA를 도입하여 적응 균형을 재조정했습니다. 우리의 방법은 진실 데이터 없이도 지도 학습 기반 LoRA 미세 조정과 동등한 성능을 달성하며, 여러 공간 차원을 포괄하는 다양한 PDE 벤치마크에서 경쟁적인 신경 연산자 모델 및 최근의 PDE 기반 모델보다 일관되게 우수한 성능을 보입니다.

Pretrained partial differential equation (PDE) foundation models can generalize across different equations, but adapting them to unseen PDE systems typically requires dense solution data, which is often expensive or unavailable. To address this limitation, we propose an unsupervised PDE-based finetuning framework that eliminates the need for ground-truth solutions. We first pretrain a neighborhood attention Transformer on diverse time-dependent PDEs spanning varying spatial scales, yielding transferable representations across heterogeneous equations. In the adaptation stage, we construct a physics-based objective using the PDE residual and boundary conditions, and finetune the model on unseen equations via low-rank adaptation (LoRA). To address the uneven learning across physical quantities in standard LoRA, we introduce NSLoRA, a Newton-Schulz orthogonalized variant that rebalances adaptation. Our method achieves performance comparable to supervised LoRA finetuning without requiring any ground-truth solutions, while consistently outperforming competitive neural operator baselines and recent PDE foundation models across heterogeneous PDE benchmarks spanning multiple spatial dimensions.