고정점 추론기: 안정적이고 적응적인 심층 루프 트랜스포머

Fixed-Point Reasoners: Stable and Adaptive Deep Looped Transformers

루프(loop) 구조는 단계별 절차를 학습하는 데 필요한 합성 추론 작업을 수행하기 위한 유도 편향을 제공합니다. 루핑에 의해 실제로 도달하는 레이어 수가 모델이 찾는 솔루션의 품질을 결정합니다. 심층 구조와 마찬가지로, 루프 구조는 깊이에 의해 유발되는 신호 전파 문제에 취약합니다. 왜냐하면 정지 결정을 미루기 때문입니다. 본 논문에서는 사전 정규화(pre-norm) 레이어 및 잔차 스케일링을 사용하여 이러한 신호 전파 문제를 해결합니다. 이러한 구조적 변경 사항을 기반으로, 우리는 고정점 수렴을 루프 구조 내에서 엔드투엔드 정지 메커니즘으로 사용하는 트랜스포머 기반의 고정점 추론 모델인 FPRM을 제안합니다. 우리는 고정점 정지가 FPRM이 작업 난이도에 따라 컴퓨팅 자원을 조정할 수 있도록 한다는 것을 보여줍니다. FPRM은 Sudoku, 미로, 상태 추적 및 ARC-AGI와 같은 일반적인 추론 벤치마크에서 효과적인 성능을 보입니다.

Looped architectures provide an inductive bias toward learning step-by-step procedures for tasks that require compositional reasoning. The number of effective layers reached by looping determines the quality of the solution these models find. Like deep architectures, looped architectures are prone to a signal propagation problem induced by depth as the halting decision is postponed. In this paper, we address this signal propagation issue using pre-norm layers and residual scaling. Building on these architectural modifications, we propose FPRM, a Transformer-based Fixed-Point Reasoning Model that uses fixed-point convergence as an end-to-end halting mechanism in a looped architecture. We show that fixed-point halting allows FPRM to adapt its compute to task difficulty. FPRM is effective on common reasoning benchmarks, namely Sudoku, Maze, state-tracking, and ARC-AGI.