신경망 추론을 위한 재귀적 추론 시스템

Recursive Inference Machines for Neural Reasoning

Tiny Recursive Models (TRM)과 같은 신경망 추론 시스템은 신경망 기반 모델과 특수 추론 방식을 결합하여 복잡한 문제를 해결합니다. 이러한 추론 방식은 확률적 추론 시스템의 핵심 구성 요소로, 추론 규칙을 확률적 모델에 적용하여 복잡한 질문에 대한 답을 얻습니다. 본 연구에서는 Recursive Inference Machines (RIMs)라는 신경망 추론 프레임워크를 소개하며, 고전적인 추론 엔진에서 영감을 받은 재귀적 추론 메커니즘을 명시적으로 포함합니다. TRM이 RIMs의 한 형태로 표현될 수 있음을 보여주며, 이를 통해 재가중치 부여 방식을 사용하여 TRM을 확장함으로써 ARC-AGI-1, ARC-AGI-2 및 Sudoku Extreme과 같은 어려운 추론 벤치마크에서 더 나은 성능을 얻을 수 있음을 입증합니다. 또한, RIMs가 표 형식 데이터 분류와 같은 다른 작업의 추론 성능을 향상시킬 수 있으며, TabPFNs보다 우수한 성능을 보이는 것을 보여줍니다.

Neural reasoners such as Tiny Recursive Models (TRMs) solve complex problems by combining neural backbones with specialized inference schemes. Such inference schemes have been a central component of stochastic reasoning systems, where inference rules are applied to a stochastic model to derive answers to complex queries. In this work, we bridge these two paradigms by introducing Recursive Inference Machines (RIMs), a neural reasoning framework that explicitly incorporates recursive inference mechanisms inspired by classical inference engines. We show that TRMs can be expressed as an instance of RIMs, allowing us to extend them through a reweighting component, yielding better performance on challenging reasoning benchmarks, including ARC-AGI-1, ARC-AGI-2, and Sudoku Extreme. Furthermore, we show that RIMs can be used to improve reasoning on other tasks, such as the classification of tabular data, outperforming TabPFNs.