RISER: 적응형 활성화 조향을 위한 잠재적 추론 능력의 조율

RISER: Orchestrating Latent Reasoning Skills for Adaptive Activation Steering

대규모 언어 모델(LLM)을 활용한 도메인 특화 추론에 관한 최근 연구들은 종종 파라미터 업데이트가 필요한 훈련 집약적인 접근 방식에 의존합니다. 활성화 조향(activation steering)이 파라미터 효율적인 대안으로 부상했지만, 기존 방법들은 복잡한 추론의 동적인 특성에 적응하지 못하는 정적이고 수동적인 개입만을 적용합니다. 이러한 한계를 해결하기 위해, 우리는 활성화 공간에서 LLM의 추론을 적응적으로 조향하는 플러그 앤 플레이 방식의 개입 프레임워크인 RISER(Router-based Intervention for Steerable Enhancement of Reasoning)를 제안합니다. RISER는 재사용 가능한 추론 벡터 라이브러리를 구축하고, 경량화된 라우터(Router)를 사용하여 각 입력에 대해 이들을 동적으로 구성합니다. 라우터는 작업 수준의 보상을 기반으로 강화 학습을 통해 최적화되며, 잠재적인 인지적 원형(cognitive primitives)들을 창발적이고 조합적인 방식으로 활성화합니다. 7개의 다양한 벤치마크에서 RISER는 기본 모델 대비 평균 3.4-6.5%의 제로샷(zero-shot) 정확도 향상을 보였으며, CoT(Chain-of-Thought) 방식의 추론을 능가하면서도 2-3배 더 높은 토큰 효율성과 견고한 정확도 상승을 달성했습니다. 추가 분석에 따르면, RISER는 여러 벡터를 해석 가능하고 정밀한 제어 전략으로 자율적으로 결합하며, 이는 더 제어 가능하고 효율적인 LLM 추론의 방향을 제시합니다.

Recent work on domain-specific reasoning with large language models (LLMs) often relies on training-intensive approaches that require parameter updates. While activation steering has emerged as a parameter efficient alternative, existing methods apply static, manual interventions that fail to adapt to the dynamic nature of complex reasoning. To address this limitation, we propose RISER (Router-based Intervention for Steerable Enhancement of Reasoning), a plug-and-play intervention framework that adaptively steers LLM reasoning in activation space. RISER constructs a library of reusable reasoning vectors and employs a lightweight Router to dynamically compose them for each input. The Router is optimized via reinforcement learning under task-level rewards, activating latent cognitive primitives in an emergent and compositional manner. Across seven diverse benchmarks, RISER yields 3.4-6.5% average zero-shot accuracy improvements over the base model while surpassing CoT-style reasoning with 2-3x higher token efficiency and robust accuracy gains. Further analysis shows that RISER autonomously combines multiple vectors into interpretable, precise control strategies, pointing toward more controllable and efficient LLM reasoning.