기호 등변성 순환 추론 모델

Symbol-Equivariant Recurrent Reasoning Models

수도쿠 및 ARC-AGI와 같은 추론 문제는 신경망에게 여전히 어려운 과제입니다. 계층적 추론 모델(HRM) 및 Tiny Recursive Model(TRM)을 포함하는 순환 추론 모델(RRM)은 대규모 언어 모델에 비해 더 작고 효율적인 대안을 제공하지만, 현재는 비용이 많이 드는 데이터 증강을 통해 기호 대칭을 암묵적으로 처리합니다. 본 논문에서는 기호 등변성 순환 추론 모델(SE-RRM)을 소개합니다. SE-RRM은 기호 등변성 레이어를 사용하여 아키텍처 수준에서 순열 등변성을 강제하며, 이를 통해 기호 또는 색상 순열에 관계없이 동일한 해를 보장합니다. SE-RRM은 기존 RRM보다 9x9 수도쿠에서 더 나은 성능을 보이며, 9x9 데이터만으로 학습하여 더 작은 4x4 크기와 더 큰 16x16 및 25x25 크기의 데이터에도 일반화할 수 있습니다. 기존 RRM은 이러한 크기의 데이터로 일반화할 수 없습니다. 또한 SE-RRM은 ARC-AGI-1 및 ARC-AGI-2에서 상당한 데이터 증강 없이, 2백만 개의 파라미터로 경쟁력 있는 성능을 달성했습니다. 이는 명시적으로 대칭성을 코딩하면 신경망 추론의 견고성과 확장성을 향상시킬 수 있음을 보여줍니다. 코드 및 추가 정보는 https://github.com/ml-jku/SE-RRM에서 확인할 수 있습니다.

Reasoning problems such as Sudoku and ARC-AGI remain challenging for neural networks. The structured problem solving architecture family of Recurrent Reasoning Models (RRMs), including Hierarchical Reasoning Model (HRM) and Tiny Recursive Model (TRM), offer a compact alternative to large language models, but currently handle symbol symmetries only implicitly via costly data augmentation. We introduce Symbol-Equivariant Recurrent Reasoning Models (SE-RRMs), which enforce permutation equivariance at the architectural level through symbol-equivariant layers, guaranteeing identical solutions under symbol or color permutations. SE-RRMs outperform prior RRMs on 9x9 Sudoku and generalize from just training on 9x9 to smaller 4x4 and larger 16x16 and 25x25 instances, to which existing RRMs cannot extrapolate. On ARC-AGI-1 and ARC-AGI-2, SE-RRMs achieve competitive performance with substantially less data augmentation and only 2 million parameters, demonstrating that explicitly encoding symmetry improves the robustness and scalability of neural reasoning. Code is available at https://github.com/ml-jku/SE-RRM.