추론 모델에서의 유동적 표현

Fluid Representations in Reasoning Models

긴 사고 사슬(chain of thought)을 생성하는 추론 언어 모델은 추상적인 문제 해결에 있어 비추론 모델보다 획기적으로 뛰어난 성능을 보입니다. 하지만 이러한 성능을 가능케 하는 내부 메커니즘은 아직 명확히 밝혀지지 않았습니다. 본 연구에서는 방대한 추론 과정을 생성하도록 특별히 훈련된 모델인 QwQ-32B가 추상적인 구조 정보를 처리하는 방식을 기계론적으로 분석합니다. 의미적으로 난독화된 계획 도메인인 Mystery Blocksworld에서의 실험 결과, QwQ-32B는 추론이 진행됨에 따라 행동과 개념에 대한 내부 표현을 점진적으로 개선하는 것으로 나타났습니다. 이 모델은 특정 행동 명칭보다는 구조에 초점을 맞춘 추상적 인코딩을 형성합니다. 조향(steering) 실험을 통해 이러한 적응 과정이 문제 해결 능력을 향상시킨다는 인과적 증거를 확인했습니다. 성공적인 추론 과정의 정제된 표현을 주입할 경우 정확도가 상승했으며, 난독화된 인코딩을 기호적 표현으로 대체해도 성능 저하는 미미했습니다. 결론적으로, 우리는 추론 모델의 성능을 견인하는 핵심 요인 중 하나가 토큰 표현의 문맥 내 정제임을 밝혀냈으며, 이를 '유동적 추론 표현(Fluid Reasoning Representations)'이라 명명하였습니다.

Reasoning language models, which generate long chains of thought, dramatically outperform non-reasoning language models on abstract problems. However, the internal model mechanisms that allow this superior performance remain poorly understood. We present a mechanistic analysis of how QwQ-32B - a model specifically trained to produce extensive reasoning traces - process abstract structural information. On Mystery Blocksworld - a semantically obfuscated planning domain - we find that QwQ-32B gradually improves its internal representation of actions and concepts during reasoning. The model develops abstract encodings that focus on structure rather than specific action names. Through steering experiments, we establish causal evidence that these adaptations improve problem solving: injecting refined representations from successful traces boosts accuracy, while symbolic representations can replace many obfuscated encodings with minimal performance loss. We find that one of the factors driving reasoning model performance is in-context refinement of token representations, which we dub Fluid Reasoning Representations.