적응적 추론을 위한 추론 패턴 정렬 병합

Reasoning Pattern Alignment Merging for Adaptive Reasoning

최근의 대규모 추론 모델(LRM)은 복잡한 추론 작업에서 상당한 발전을 이루었지만, 종종 모든 질의에 대해 장황한 추론 경로를 생성하여 불필요한 계산 및 지연 시간을 발생시킵니다. 기존의 속도 향상 방법은 일반적으로 모델 재학습 또는 정교한 프롬프트 설계에 의존하는데, 이는 매우 비용이 많이 들거나 입력 및 프롬프트 구성에 매우 민감합니다. 본 연구에서는 효율적인 추론을 위한 경량화된 대안으로 모델 병합을 연구합니다. 긴 추론 체인(Long-CoT) 모델과 짧은 추론 지침 모델을 결합하여, 처음부터 학습하거나 대규모 추가 데이터를 필요로 하지 않는 적응형 추론기를 얻습니다. 이 아이디어를 바탕으로, 질의에 적응적인 추론을 용이하게 하는 특징 정렬 기반의 계층별 모델 병합 프레임워크인 추론 패턴 정렬 병합(RPAM)을 제안합니다. RPAM은 먼저 각 질의에 적절한 추론 패턴을 할당하는 작은 패턴 레이블이 지정된 교정 세트를 구성합니다. 그런 다음 병합된 모델의 중간 표현을 선택된 모델의 표현과 정렬하면서, 대비적 목적을 사용하여 병합된 모델의 표현이 선택되지 않은 모델의 표현과 멀어지도록 계층별 병합 계수를 최적화합니다. 널리 사용되는 7개의 추론 벤치마크에 대한 실험 결과, RPAM은 추론 비용을 크게 줄이면서도 강력한 성능을 유지하는 것으로 나타났습니다. 논문 게재 시, RPAM의 실험 재현을 위한 오픈 소스 코드를 제공할 예정입니다.

Recent large reasoning models (LRMs) have made substantial progress in complex reasoning tasks, yet they often generate lengthy reasoning paths for every query, incurring unnecessary computation and latency. Existing speed-up approaches typically rely on retraining the model or designing sophisticated prompting, which are either prohibitively expensive or highly sensitive to the input and prompt formulation. In this work, we study model merging as a lightweight alternative for efficient reasoning: by combining a long chain-of-thought (Long-CoT) reasoning model with a Short-CoT instruction model, we obtain an adaptive reasoner without training from scratch or requiring large-scale additional data. Building on this idea, we propose Reasoning Pattern Alignment Merging (RPAM), a layer-wise model merging framework based on feature alignment to facilitate query-adaptive reasoning. RPAM first constructs a small pattern-labeled calibration set that assigns each query an appropriate reasoning pattern. It then optimizes layer-wise merging coefficients by aligning the merged model's intermediate representations with those of the selected model, while a contrastive objective explicitly pushes them away from the non-selected model. Experiments on seven widely used reasoning benchmarks show that RPAM substantially reduces inference cost while maintaining strong performance. Upon article acceptance, we will provide open-source code to reproduce experiments for RPAM.