ReasonOps: LLM 추론 과정의 연산자 분할

ReasonOps: Operator Segmentation for LLM Reasoning Traces

대규모 추론 모델에서 생성되는 체인-오브-생트(chain-of-thought) 추론 경로는 수만 개의 토큰으로 구성될 수 있지만, 이러한 내부 구조를 설명할 수 있는 어휘가 부족합니다. 기존의 체인-오브-생트 추론 경로 분석 방법은 지나치게 제한적이거나 표현력이 충분하지 않아 다양한 도메인과 모델에서 나타나는 특징을 포착하지 못합니다. 이를 해결하기 위해 우리는 ReasonOps라는 비지도, 표현력이 풍부한 방법을 개발하여 체인-오브-생트 추론 경로를 주석 처리하고 간결하고 보편적인 연산자를 제공합니다. ReasonOps를 사용하여 8개의 추론 벤치마크에서 12가지 LLM의 44,662개 추론 경로를 분석한 결과, 이들이 공통된 구성 구조를 갖는다는 것을 발견했습니다. 구체적으로, 문장 시작 부분의 3개 토큰을 기준으로 비지도 클러스터링을 수행하여 7개의 반복되는 추론 연산자가 나타났으며, 이는 복문(backtracking), 추론(inferring) 및 가설 설정(hypothesizing)과 같은 수준의 움직임입니다. 이러한 연산자는 모든 모델 패밀리와 벤치마크 도메인에서 나타나며, 3명의 독립적인 LLM 평가자가 숨겨진 샘플을 70~76%의 정확도로 분류함으로써 이를 확인했습니다. 우리는 쉬운 문제와 어려운 문제에서 연산자의 구조를 분석한 결과, 반성(reflective) 연산자는 어려운 문제에서는 유용하지만 쉬운 문제에서는 성능을 저하시키는 것을 발견했습니다. 연산자 시퀀스는 모델 식별에 매우 효과적입니다. 연산자 분포만으로 학습된 분류기는 원본 모델을 높은 macro-AUC 값으로 정확하게 복원하며, 이는 각 모델 패밀리가 독특한 추론 특징(fingerprint)을 가지고 있음을 보여줍니다. 구조적인 연산자 특징은 문제 내에서의 정답 여부를 예측하는 데 있어 기존 방법보다 훨씬 뛰어난 성능을 보입니다. 이러한 연산자를 기반으로 구축된 분류기는 WP-AUC 및 AIME에서 높은 성능을 달성합니다. ReasonOps는 추론 경로가 완료되기 전에 초기 품질을 추정하는 데에도 활용될 수 있습니다. 50%의 추론 경로만 사용했을 때도 WP-AUC 값으로 예측이 가능합니다. ReasonOps 파이프라인은 비지도 학습 기반이며 주석이 필요하지 않으므로, LLM 추론 경로에 대한 깊이 있는 통찰력을 제공하며 모델 식별 및 정답 예측과 같은 후속 작업에서 뛰어난 결과를 얻을 수 있습니다.

Chain-of-thought traces from large reasoning models can span tens of thousands of tokens, yet we lack a vocabulary for describing their internal structure. Previous methods developed to analyze chain-of-thought traces are either too rigid or not expressive enough, failing to capture features across domains and models. To remedy this, we develop ReasonOps, an unsupervised, expressive method for annotating chain-of-thought traces, providing succinct universal operators. Using ReasonOps, we analyze 44,662 traces from 12 thinking LLMs spanning 6 families across 8 reasoning benchmarks and discover that they share a common compositional structure: 7 recurring reasoning operators -- discourse-level moves such as backtracking, inferring, and hypothesizing -- that emerge from unsupervised clustering of sentence-initial 3-token pivots. These operators appear across every model family and benchmark domain, confirmed by three independent LLM judges who classify held-out samples at 70 -76% accuracy. We analyze the structure of operators on easy vs. hard problems, revealing that reflective operators are more helpful on hard problems and harm performance on easy problems. Operator sequences are highly model-identifying: a classifier trained on operator distributions alone recovers the source model with macro-AUC, revealing that each model family has a distinctive reasoning fingerprint. Structural operator features predict within-problem answer correctness well above baselines. Classifiers built on these operators reach WP-AUC and on AIME specifically. ReasonOps further enables early quality estimation well before the trace completes: we predict at WP-AUC for only 50% of the trace. The ReasonOps pipeline is unsupervised and annotation-free, enabling deep insights into LLM reasoning traces as well as strong downstream results on model identification and correctness prediction.