학제적 일반화 능력을 갖춘 수치 지능 기반 모델

A foundation model of numerical intelligence with cross-disciplinary generalization

지능은 일반적으로 지식을 습득하고 적용하며, 익숙하지 않은 상황에 적응하고 새로운 문제를 해결하는 능력으로 이해됩니다. 대규모 언어 모델은 텍스트 맥락에서 관련 지식을 추론하고 이를 새로운 작업에 적용함으로써 이러한 능력을 보여줍니다. 그러나 지능은 언어로만 국한될 필요가 없습니다. 과학 및 사회 시스템의 경우, 우리는 수치 맥락에서 지식을 습득하고 적용하는 능력, 즉 '수치 지능'을 갖춘 모델이 필요합니다. 본 연구에서는 UNified In-Context Operator Networks (UNICON)라는 수치 지능을 다양한 분야에 걸쳐 나타내는 기본 모델을 소개합니다. UNICON은 시스템의 그래프 기반 예시를 맥락으로 사용하여 이들 간에 공유되는 예측 관계를 추론하고 동일한 시스템으로부터 들어오는 질의에 이를 적용합니다. 훈련 데이터에 포함되지 않은 분야의 과학 및 사회 시스템에서도 동일한 모델이 별도의 재학습 없이 전문가 수준의 성능을 달성합니다. UNICON과 언어 모델 에이전트를 결합하면 더 큰 이점을 얻을 수 있으며, 이는 훈련 데이터에 없는 특정 분야에서 최첨단 전문가를 능가할 수 있게 합니다. 또한, 훈련 코퍼스의 다양성이 훈련되지 않은 분야로의 일반화 성능을 향상시킨다는 것을 보여줍니다. 이러한 결과들을 종합적으로 고려했을 때, UNICON은 수치 지능의 기본 모델로서 자리매김하며, 더 넓은 인공지능 생태계를 위한 핵심 구성 요소가 될 것입니다.

Intelligence is commonly understood as the ability to acquire and apply knowledge, adapt to unfamiliar situations and solve new problems. Large language models exhibit this capacity by inferring task-relevant knowledge from textual context and applying it to new tasks. Yet intelligence need not be confined to language. For scientific and social systems, we need models that acquire and apply knowledge from numerical context-an ability we call numerical intelligence. Here we introduce UNified In-Context Operator Networks (UNICON), a foundation model that exhibits numerical intelligence across disciplines. Using graph-based examples from a system as context, UNICON infers the predictive relation shared across them and applies it to queries from the same system. Across scientific and social systems, including those from disciplines absent from training, the same model approaches specialist performance without retraining. Combining UNICON with language-model agents to perform contextual ensemble learning (CEL) yields further gains, enabling it to surpass state-of-the-art specialists in a discipline unseen during training. We further show that training-corpus diversity improves generalization to unseen disciplines. Together, these results establish UNICON as a foundation model of numerical intelligence and position it as a building block for a broader ecosystem of artificial intelligence.