HintMR: 소규모 언어 모델에서 강력한 수학적 추론 능력 향상

HintMR: Eliciting Stronger Mathematical Reasoning in Small Language Models

소규모 언어 모델(SLM)은 제한된 용량으로 인해 중간 단계를 유지하고 초기 오류에서 회복하는 데 어려움을 겪으면서 복잡한 수학적 추론에 종종 어려움을 겪습니다. 우리는 이 문제를 해결하기 위해 힌트 기반 추론 프레임워크를 도입하여 SLM이 다단계 수학 문제 해결 과정을 단계적으로 안내하도록 돕습니다. 우리의 접근 방식은 솔루션을 순차적인 추론 단계로 분해하고 문맥에 맞는 힌트를 제공하며, 이 힌트는 강력한 대규모 언어 모델로부터 지식 증류를 통해 훈련된 별도의 SLM에 의해 생성됩니다. 힌트를 생성하는 SLM 자체는 문제를 해결할 수 없지만, 추론 SLM과의 협력을 통해 효과적인 지침을 제공하며, 이를 통해 추론을 위한 협력적인 두 모델 시스템을 구축합니다. 각 힌트는 문제 설명과 누적된 추론 기록에 조건적으로 생성되어 전체 솔루션을 드러내지 않고 단계별, 지역적인 지침을 제공합니다. 이를 통해 오류 전파를 줄이고 추론 모델이 처리 가능한 하위 문제에 집중할 수 있도록 합니다. 다양한 수학적 벤치마크와 모델에 대한 실험 결과, 힌트 지원은 SLM의 추론 정확도를 지속적으로 향상시키며, 표준 프롬프트 방식보다 상당한 성능 향상을 제공하면서도 모델 효율성을 유지합니다. 이러한 결과는 힌트 생성 및 추론을 통한 SLM 간의 구조화된 협력이 수학적 추론 능력을 향상시키는 효과적이고 가벼운 메커니즘을 제공한다는 것을 강조합니다.

Small language models (SLMs) often struggle with complex mathematical reasoning due to limited capacity to maintain long chains of intermediate steps and to recover from early errors. We address this challenge by introducing a hint-assisted reasoning framework that incrementally guides SLMs through multi-step mathematical problem solving. Our approach decomposes solutions into sequential reasoning steps and provides context-aware hints, where hints are generated by a separate SLM trained via distillation from a strong large language model. While the hint-generating SLM alone is not capable of solving the problems, its collaboration with a reasoning SLM enables effective guidance, forming a cooperative two-model system for reasoning. Each hint is generated conditionally on the problem statement and the accumulated reasoning history, providing stepwise, localized guidance without revealing full solutions. This reduces error propagation and allows the reasoning model to focus on manageable subproblems. Experiments across diverse mathematical benchmarks and models demonstrate that hint assistance consistently improves reasoning accuracy for SLMs, yielding substantial gains over standard prompting while preserving model efficiency. These results highlight that structured collaboration between SLMs-via hint generation and reasoning-offers an effective and lightweight mechanism for enhancing mathematical reasoning.