FutureMind: 적응형 지식 증류를 통한 소형 언어 모델의 전략적 사고 패턴 사전 지식 탑재

FutureMind: Equipping Small Language Models with Strategic Thinking-Pattern Priors via Adaptive Knowledge Distillation

소형 언어 모델(SLM)은 효율적인 저지연 추론 덕분에 비용에 민감하고 자원이 제한된 환경에서 매력적이다. 그러나 이들은 구조화된 추론과 효과적인 검색이 필요한 복잡하고 지식 집약적인 작업에서는 종종 어려움을 겪는다. 이러한 한계를 해결하기 위해, 우리는 대형 언어 모델(LLM)로부터 적응형 지식 증류를 통해 SLM에 전략적 사고 패턴 사전 지식을 탑재하는 모듈형 추론 프레임워크인 FutureMind를 제안한다. FutureMind는 문제 분석, 논리적 추론, 전략 계획, 검색 가이드라는 네 가지 핵심 모듈로 구성된 동적 추론 파이프라인을 도입한다. 이 파이프라인은 복잡한 질의를 다루기 쉬운 하위 문제로 분해하여 효율적이고 정확한 검색 실행을 보장하는 세 가지 고유한 검색 패러다임으로 강화된다. 2WikiMultihopQA, MuSiQue, Bamboogle, Frames를 포함한 멀티 홉 QA 벤치마크에 대한 광범위한 실험은 FutureMind의 우수성을 입증한다. 이는 다양한 SLM 아키텍처 및 규모 전반에 걸쳐 자유로운 학습 조건 하에서 Search-o1과 같은 강력한 베이스라인을 일관되게 능가하며 최고 수준(SOTA)의 결과를 달성한다. 경험적 성과를 넘어, 우리의 분석은 사고 패턴 증류 과정이 교사(LLM) 모델과 학생(SLM) 모델 간의 인지 편향 병목 현상에 의해 제한된다는 것을 밝혀낸다. 이는 추론 기술의 전이 가능성에 대한 새로운 관점을 제공하며, 효율성과 진정한 인지 능력을 결합한 SLM 개발의 길을 열어준다.

Small Language Models (SLMs) are attractive for cost-sensitive and resource-limited settings due to their efficient, low-latency inference. However, they often struggle with complex, knowledge-intensive tasks that require structured reasoning and effective retrieval. To address these limitations, we propose FutureMind, a modular reasoning framework that equips SLMs with strategic thinking-pattern priors via adaptive knowledge distillation from large language models (LLMs). FutureMind introduces a dynamic reasoning pipeline composed of four key modules: Problem Analysis, Logical Reasoning, Strategy Planning, and Retrieval Guidance. This pipeline is augmented by three distinct retrieval paradigms that decompose complex queries into tractable subproblems, ensuring efficient and accurate retrieval execution. Extensive experiments on multi-hop QA benchmarks, including 2WikiMultihopQA, MuSiQue, Bamboogle, and Frames, demonstrate the superiority of FutureMind. It consistently outperforms strong baselines such as Search-o1, achieving state-of-the-art results under free training conditions across diverse SLM architectures and scales. Beyond empirical gains, our analysis reveals that the process of thinking-pattern distillation is restricted by the cognitive bias bottleneck between the teacher (LLMs) and student (SLMs) models. This provides new perspectives on the transferability of reasoning skills, paving the way for the development of SLMs that combine efficiency with genuine cognitive capability.