HRBench: 하이브리드 추론 LLM에서 사고 모드 전환 전략의 벤치마킹 및 이해

HRBench: Benchmarking and Understanding Thinking-Mode Switch Strategies in Hybrid-Reasoning LLMs

하이브리드 추론 대규모 언어 모델(LLM)은 추론 노력을 명시적으로 제어할 수 있는 기능을 제공하여, 사용자와 시스템이 답변 품질과 추론 비용 간의 균형을 맞출 수 있도록 합니다. 그러나 기존의 적응적 사고 모드 선택 방법은 일반적으로 다양한 모델, 데이터 세트 및 구현 가정 하에서 평가되므로, 실제 동작을 비교하기 어렵습니다. 본 논문에서는 하이브리드 추론 LLM에서의 사고 모드 전환 연구를 위한 통합 평가 프레임워크인 HRBench를 소개합니다. HRBench는 설계 공간을 두 가지 축으로 구성합니다. 세 가지 사고 모드 전환 전략(프롬프트 기반 선택, 외부 라우팅 및 추측적 실행)과 네 가지 훈련 방식(훈련 불필요, SFT, 오프라인 및 온라인 강화 학습), 총 12개의 제어된 평가 환경을 제공합니다. 우리는 Qwen3.5-2B에서 Kimi-K2.5-1.1T까지의 6가지 LLM과 수학, 과학 및 코드를 포함하는 5가지 추론 벤치마크에 대해 이러한 환경을 평가했으며, 동일한 파이프라인 내에서 12개 이상의 대표적인 기존 방법을 재구현했습니다. 우리의 분석은 다양한 사고 모드 전환 전략이 효율성-효율성의 상이한 영역에 위치한다는 것을 보여줍니다. 프롬프트 기반 방법은 종종 유리한 토큰-정확도 균형을 제공하고, 라우팅 방법은 더 안정적인 비용 절감을 제공하며, 추측적 방법은 일반적으로 더 높은 토큰 비용으로 정확도를 향상시키는 경향이 있습니다. 또한 훈련 방식이 전략에 미치는 영향이 다르며, 선호하는 전략은 모델 크기와 작업 도메인에 따라 달라진다는 것을 확인했습니다. HRBench는 효율적인 하이브리드 추론 LLM 연구를 지원하기 위한 참조 구현 및 통합 평가 플랫폼을 제공합니다. 데이터, 코드 및 저장소는 https://github.com/usail-hkust/HRBench 에서 확인할 수 있습니다.

Hybrid-reasoning large language models (LLMs) expose explicit controls over reasoning effort, allowing users or systems to trade off answer quality against inference cost. However, existing methods for adaptive thinking-mode selection are typically evaluated under different models, datasets, and implementation assumptions, making it difficult to compare their practical behavior. We introduce HRBench, a unified evaluation framework for studying thinking-mode switching in hybrid-reasoning LLMs. HRBench organizes the design space along two axes: three switching strategy families, prompt-based selection, external routing, and speculative execution, and four training regimes, training-free, SFT, offline and online RL, yielding 12 controlled evaluation settings. We evaluate these settings across 6 LLMs, from Qwen3.5-2B to Kimi-K2.5-1.1T, and 5 reasoning benchmarks covering mathematics, science, and code, while reimplementing 12+ representative prior methods within the same pipeline. Our analysis characterizes how different switching strategies occupy distinct effectiveness-efficiency trade-off regions: prompt-based methods often provide favorable token-accuracy trade-offs, routing methods offer more stable cost reduction, and speculative methods tend to improve accuracy at higher token cost. We further find that training affects strategies differently, and that the preferred strategy varies with model scale and task domain. HRBench provides reference implementations and a unified evaluation platform to support more controlled research on efficient reasoning in hybrid-reasoning LLMs. Our data, code and repository are available at https://github.com/usail-hkust/HRBench.