ReLope: KL 정규화된 LoRA 탐침을 활용한 다중 모드 LLM 라우팅

ReLope: KL-Regularized LoRA Probes for Multimodal LLM Routing

라우팅은 경량 모델과 강력하지만 비용이 많이 드는 대규모 모델을 결합한 대규모 언어 모델(LLM) 시스템에서 성능과 비용을 균형 있게 맞추는 유망한 전략으로 부상했습니다. 최근 연구에 따르면, 작은 모델의 은닉 상태를 사용하여 정확도를 예측하는 "탐침 라우팅"은 텍스트 기반 LLM에서 효과적인 해결책을 제공합니다. 그러나, 본 연구에서는 이러한 탐침들이 다중 모드 LLM(MLLM)에 적용될 때 성능이 크게 저하되는 것을 확인했습니다. 경험적 분석 결과, 시각적 입력의 존재는 은닉 상태에서 정확성 신호의 분리성을 약화시켜, 표준 탐침 설계로는 이러한 신호를 추출하기 어렵게 만듭니다. 이러한 문제를 해결하기 위해, MLLM에서 탐침 라우팅을 개선하기 위한 두 가지 상호 보완적인 방법을 제안합니다. 첫째, 이전 레이어의 은닉 상태를 어텐션 점수를 기반으로 집계하여 분산된 정확성 신호를 복원하는 "어텐션 탐침"을 제안합니다. 둘째, 라우팅에 대한 인식을 갖춘 표현을 학습하기 위해 경량 LoRA 어댑터를 삽입하고 KL 정규화 기법을 적용하는 "KL 정규화된 LoRA 탐침 (ReLope)"을 제시합니다. 종합적인 실험 결과, 제안하는 방법들이 기존 방법들을 지속적으로 능가하며, 은닉 상태의 품질을 향상시키는 것이 MLLM에서의 효과적인 라우팅에 핵심적인 요소임을 시사합니다. 본 연구의 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/Spinozaaa/ReLope.

Routing has emerged as a promising strategy for balancing performance and cost in large language model (LLM) systems that combine lightweight models with powerful but expensive large models. Recent studies show that \emph{probe routing}, which predicts the correctness of a small model using its hidden states, provides an effective solution in text-only LLMs. However, we observe that these probes degrade substantially when applied to multimodal LLMs (MLLMs). Through empirical analysis, we find that the presence of visual inputs weakens the separability of correctness signals in hidden states, making them harder to extract using standard probe designs. To address this challenge, we introduce two complementary approaches for improving probe routing in MLLMs. First, we propose the \emph{Attention Probe}, which aggregates hidden states from the preceding layer based on attention scores to recover distributed correctness signals. Second, we present the \emph{KL-Regularized LoRA Probe (ReLope)}, which inserts a lightweight LoRA adapter and applies a KL regularizer to learn routing-aware representations. Comprehensive experiments show that our methods consistently outperform baselines, suggesting that improving the quality of hidden states is key to effective routing in MLLMs. Our code is available at https://github.com/Spinozaaa/ReLope.