스펙트럼 정보를 활용한 신경망이 고차원 PDE에서 스펙트럼 방법보다 우수한 성능을 보임

Spectral-Informed Neural Networks Outperform Spectral Methods in High-dimensional PDEs

저차원 문제(d ≤ 3)에서는 스펙트럼 방법이 매우 높은 정확도를 달성할 수 있습니다. 중간 차원 문제(4 ≤ d ≲ 10)에서도 희소 그리드 또는 하이퍼볼릭 크로스와 같은 특정 기술을 통해 스펙트럼 방법은 여전히 실용적입니다. 그러나 고차원 문제(d >> 10)에서는 스펙트럼 방법은 차원의 저주에 시달립니다. 물리학 기반 신경망(PINNs)은 이 문제를 해결하기 위한 유망한 접근 방식으로, 높은 차원에 대한 확장성을 제공하지만 종종 정확도와 효율성이 제한되는 단점이 있습니다. 최근 제안된 스펙트럼 정보를 활용한 신경망(SINNs)은 PINNs와 스펙트럼 방법을 결합하여 공간 미분 계산을 피하고 메모리 소비를 줄이기 위해 직접적으로 스펙트럴 영역에서 작동합니다. 본 연구에서는 조화 분석에 의해 영감을 받은 계수 감쇠 스케일링 및 기저 임베딩을 통합한 수정된 SINNs(Modified SINNs)를 소개합니다. 이를 통해 고차원 문제에서의 정확도를 향상시키고, 알려지지 않은 스펙트럴 계수를 정확하게 근사할 수 있습니다. 정적 및 시간 의존 편미분 방정식에 대한 수치 실험 결과, 수정된 SINNs는 불완전한 스펙트럴 정보를 가진 중간 차원 문제에서 희소 그리드 스펙트럼 방법보다 우수한 성능을 보이며, 고차원 문제에서는 PINNs보다 훨씬 더 높은 정확도를 달성하는 것으로 나타났습니다.

For low-dimensional problems ($d\leq3$), spectral methods can achieve exceptionally high accuracy. For middle-dimensional problems ($4 \leq d \lesssim 10$), spectral methods remain feasible through specific techniques such as sparse grids or hyperbolic cross. However, for high-dimensional problems ($d\gg 10$), spectral methods suffer frome the curse of dimensionality. Physics-informed neural networks (PINNs) have emerged as a promising approach to overcome this challenge, offering scalability to high dimensions, but often suffer from limited accuracy and efficiency. Recently proposed spectral-informed neural networks (SINNs) combine spectral methods with PINNs, operating directly in the spectral domain to avoid spatial derivative computations and to reduce memory consumption. In this work, we introduce Modified SINNs, which integrate coefficient decay scaling and basis embeddings motivated by harmonic analysis to enhance accuracy in high-dimensional problems and enable accurate approximation of unknown spectral coefficients. Numerical experiments on steady and time-dependent partial differential equations demonstrate that Modified SINNs outperform sparse grid spectral methods on middle-dimensional problems with incomplete spectral information and achieve superior accuracy compared to PINNs on high-dimensional problems.