OpInf-LLM: 연산자 추론을 통한 LLM 기반 매개변수 PDE 솔루션

OpInf-LLM: Parametric PDE Solving with LLMs via Operator Inference

다양한 편미분 방정식(PDE)을 해결하는 것은 과학 및 공학 분야에서 매우 중요합니다. 대규모 언어 모델(LLM)은 코드 생성, 기호 추론 및 도구 사용 능력에서 뛰어난 성능을 보여주었지만, 다양한 환경에서 PDE를 안정적으로 해결하는 것은 여전히 어려운 과제입니다. LLM 기반 코드 생성 및 PDE 학습을 위한 트랜스포머 기반 기초 모델에 대한 이전 연구는 유망한 발전을 보여주었습니다. 그러나 특히 미지의 매개변수와 경계 조건으로 일반화해야 할 때, 실행 성공률과 수치 정확성 간의 지속적인 상충 관계가 발생합니다. 본 연구에서는 연산자 추론을 기반으로 하는 LLM 매개변수 PDE 해결 프레임워크인 OpInf-LLM을 제안합니다. 제안된 프레임워크는 소량의 해 데이터만 활용하여 미지의 매개변수 및 구성까지 포함한 다양한 PDE 인스턴스의 정확한 예측을 가능하게 하며, LLM과의 원활한 통합을 통해 PDE 해결 작업을 자연어 방식으로 지정할 수 있습니다. 또한 낮은 계산 요구 사항과 통합된 도구 인터페이스를 통해 다양한 환경에서 높은 실행 성공률을 제공합니다. OpInf-LLM은 연산자 추론과 LLM 기능을 결합하여 LLM 기반 PDE 해결에서 일반화된 저차원 모델링의 새로운 가능성을 열어줍니다.

Solving diverse partial differential equations (PDEs) is fundamental in science and engineering. Large language models (LLMs) have demonstrated strong capabilities in code generation, symbolic reasoning, and tool use, but reliably solving PDEs across heterogeneous settings remains challenging. Prior work on LLM-based code generation and transformer-based foundation models for PDE learning has shown promising advances. However, a persistent trade-off between execution success rate and numerical accuracy arises, particularly when generalization to unseen parameters and boundary conditions is required. In this work, we propose OpInf-LLM, an LLM parametric PDE solving framework based on operator inference. The proposed framework leverages a small amount of solution data to enable accurate prediction of diverse PDE instances, including unseen parameters and configurations, and provides seamless integration with LLMs for natural language specification of PDE solving tasks. Its low computational demands and unified tool interface further enable a high execution success rate across heterogeneous settings. By combining operator inference with LLM capabilities, OpInf-LLM opens new possibilities for generalizable reduced-order modeling in LLM-based PDE solving.