InjectRBP: 패턴 주입을 통한 거대 언어 모델의 추론 행동 유도

InjectRBP: Steering Large Language Model Reasoning Behavior via Pattern Injection

추론은 거대 언어 모델의 성능을 크게 향상시킬 수 있습니다. 최근 연구들은 추론 능력을 높이기 위해 행동 관련 프롬프트 조정을 활용해 왔지만, 이러한 설계는 대체로 직관에 의존하며 기저의 행동 패턴에 대한 체계적인 분석은 부족했습니다. 이에 착안하여, 우리는 행동 패턴의 관점에서 모델의 추론 행동이 어떻게 추론을 형성하는지 탐구합니다. 우리는 모델이 특정 유형의 질문에 응답할 때 적응형 추론 행동 분포를 보이며, 이러한 패턴을 구조적으로 주입하는 것이 모델의 추론 과정과 결과의 품질에 상당한 영향을 미칠 수 있음을 관찰했습니다. 이러한 발견을 바탕으로, 우리는 파라미터 업데이트가 필요 없는 두 가지 최적화 방법인 InjectCorrect와 InjectRLOpt를 제안합니다. InjectCorrect는 모델 자신의 과거 정답에서 도출된 행동 패턴을 모방하여 모델을 유도합니다. InjectRLOpt는 과거 행동 패턴 데이터로부터 가치 함수를 학습하고, 우리가 제안한 '신뢰도 인식 소프트맥스 정책(Reliability-Aware Softmax Policy)'을 통해 추론 중에 행동 주입 요소를 생성하여 추론 과정을 제어합니다. 실험 결과, 두 방법 모두 모델 파라미터를 수정하지 않고도 다양한 추론 작업에서 모델 성능을 향상시킬 수 있음을 입증했으며, 각각 최대 5.34%와 8.67%의 성능 향상을 달성했습니다.

Reasoning can significantly enhance the performance of Large Language Models. While recent studies have exploited behavior-related prompts adjustment to enhance reasoning, these designs remain largely intuitive and lack a systematic analysis of the underlying behavioral patterns. Motivated by this, we investigate how models' reasoning behaviors shape reasoning from the perspective of behavioral patterns. We observe that models exhibit adaptive distributions of reasoning behaviors when responding to specific types of questions, and that structurally injecting these patterns can substantially influence the quality of the models' reasoning processes and outcomes. Building on these findings, we propose two optimization methods that require no parameter updates: InjectCorrect and InjectRLOpt. InjectCorrect guides the model by imitating behavioral patterns derived from its own past correct answers. InjectRLOpt learns a value function from historical behavior-pattern data and, via our proposed Reliability-Aware Softmax Policy, generates behavioral injectant during inference to steer the reasoning process. Our experiments demonstrate that both methods can improve model performance across various reasoning tasks without requiring any modifications to model parameters, achieving gains of up to 5.34% and 8.67%, respectively.