당신의 추론 모델은 추론하고 있는가, 아니면 추측하고 있는가? 계층적 추론 모델에 대한 메커니즘 분석

Are Your Reasoning Models Reasoning or Guessing? A Mechanistic Analysis of Hierarchical Reasoning Models

계층적 추론 모델(HRM)은 다양한 추론 작업에서 놀라운 성능을 달성하며, 대규모 언어 모델 기반 추론기들을 크게 능가합니다. HRM의 강점과 잠재적인 실패 양상을 이해하기 위해, 우리는 그 추론 패턴에 대한 메커니즘 연구를 수행하여 세 가지 놀라운 사실을 발견했습니다. (a) 극도로 단순한 퍼즐에서의 실패: 예를 들어, HRM은 미지수 칸이 단 하나인 퍼즐에서도 실패할 수 있습니다. 우리는 이 실패의 원인을 HRM의 기본 가정인 고정점(fixed point) 속성의 위배로 봅니다. (b) 추론 단계에서의 "그로킹(Grokking)" 역학: 즉, 정답이 균일하게 개선되는 것이 아니라, 갑자기 정답을 맞히게 되는 결정적인 추론 단계가 존재합니다. (c) 다중 고정점의 존재: HRM은 첫 번째 고정점을 "추측"하는데, 이는 틀릴 수도 있으며, 잠시 동안 또는 영원히 그 상태에 갇히게 됩니다. 이 모든 사실은 HRM이 "추론"보다는 "추측"을 하고 있는 것처럼 보임을 시사합니다. 이러한 "추측" 관점을 활용하여, 우리는 HRM의 추측을 확장하기 위한 세 가지 전략인 데이터 증강(추측의 품질 확장), 입력 섭동(추론의 무작위성을 활용하여 추측의 수 확장), 모델 부트스트래핑(학습의 무작위성을 활용하여 추측의 수 확장)을 제안합니다. 실용적인 측면에서, 모든 방법을 결합하여 증강된(Augmented) HRM을 개발했으며, 이를 통해 Sudoku-Extreme에서의 정확도를 54.5%에서 96.9%로 끌어올렸습니다. 과학적인 측면에서, 우리의 분석은 추론 모델이 어떻게 "추론"하는지에 대한 새로운 통찰력을 제공합니다.

Hierarchical reasoning model (HRM) achieves extraordinary performance on various reasoning tasks, significantly outperforming large language model-based reasoners. To understand the strengths and potential failure modes of HRM, we conduct a mechanistic study on its reasoning patterns and find three surprising facts: (a) Failure of extremely simple puzzles, e.g., HRM can fail on a puzzle with only one unknown cell. We attribute this failure to the violation of the fixed point property, a fundamental assumption of HRM. (b) "Grokking" dynamics in reasoning steps, i.e., the answer is not improved uniformly, but instead there is a critical reasoning step that suddenly makes the answer correct; (c) Existence of multiple fixed points. HRM "guesses" the first fixed point, which could be incorrect, and gets trapped there for a while or forever. All facts imply that HRM appears to be "guessing" instead of "reasoning". Leveraging this "guessing" picture, we propose three strategies to scale HRM's guesses: data augmentation (scaling the quality of guesses), input perturbation (scaling the number of guesses by leveraging inference randomness), and model bootstrapping (scaling the number of guesses by leveraging training randomness). On the practical side, by combining all methods, we develop Augmented HRM, boosting accuracy on Sudoku-Extreme from 54.5% to 96.9%. On the scientific side, our analysis provides new insights into how reasoning models "reason".