체인 연산자를 활용한 컨텍스트 내 연산자 학습

Harness In-Context Operator Learning with Chain of Operators

신경망 기반 연산자는 함수 공간 간의 매핑을 근사하지만, 종종 다른 연산자에 대한 일반화 성능이 낮으며, 미세 조정이나 재학습이 필요합니다. In-Context Operator Networks (ICON)는 모델에 수치적 컨텍스트를 제공하여 특정 연산자를 학습하고, 미세 조정 없이 다양한 연산자에 적응하도록 하는 방식으로 이 문제를 해결합니다. 그러나 ICON은 여전히 분포 외(out-of-distribution, OOD) 연산자 작업에 대한 일반화에 실패할 수 있습니다. 본 연구는 대규모 언어 모델(LLM)의 성공적인 활용 사례에서 영감을 받아, 고정된 ICON을 사용하여 파라미터를 업데이트하지 않고 OOD 연산자 작업에 적용하는 프레임워크인 Chain of Operators (CHOP)를 제안합니다. 구체적으로, CHOP는 명시적인 기본 변환과 고정된 ICON으로 구성된 연산 체인을 구축합니다. 스칼라 보존 법칙 및 평균장 제어 문제에 대한 실험 결과, CHOP는 직접적인 ICON 평가보다 상대적 추론 오류를 줄이는 반면, 체인 내의 각 연산자는 해석 가능하고 닫힌 형태로 유지됩니다. 한 PDE 패밀리에 대해 구성된 체인은 다른 패밀리로도 일반화되어, 활용 시스템 간에 공유되는 메커니즘을 나타냅니다.

Neural operators approximate mappings between function spaces, but often generalize poorly to other operators and usually require fine-tuning or retraining. In-Context Operator Networks (ICON) addresses this issue by prompting the model with numerical context so that the model learns specific operators from prompts and adapt to different operators without fine-tuning. However, ICON may still fail to generalize to out-of-distribution (OOD) operator tasks. Inpired by the success of harness engineering of Large Language models (LLMs), we introduce Chain of Operators (CHOP), a framework that harness a frozen ICON to OOD operator tasks without updating its parameters. Specifically, CHOP constructs a chain of operators consisting of explicit elementary transformations and the frozen ICON. Experiments on a scalar conservation law and a mean-field control problem show that CHOP reduces relative inference error over direct ICON evaluation, while each operator in the chain remains interpretable and in closed form. A chain constructed on one PDE family further generalizes to a different family, indicating shared mechanisms across harness systems.