PASs-MoE: 경로 활성화 서브 공간을 활용하여 라우터와 전문가 간의 불일치된 공변화 현상을 완화하는 지속적 학습 방법

PASs-MoE: Mitigating Misaligned Co-drift among Router and Experts via Pathway Activation Subspaces for Continual Learning

지속적인 명령 튜닝(CIT)은 다중 모드 대규모 언어 모델(MLLM)이 이전 기능을 잊지 않고 일련의 작업에 적응하도록 요구합니다. 일반적인 전략은 입력을 서로 다른 LoRA 전문가에게 라우팅하여 업데이트를 분리하는 것입니다. 그러나 기존의 LoRA 기반 혼합 전문가(MoE) 방법은 종종 라우터와 전문가를 무분별하게 함께 업데이트하여 라우터의 선호도가 전문가의 적응 경로와 함께 공변화되고 초기 단계의 입력-전문가 특수화에서 점차 벗어나는 현상을 초래합니다. 우리는 이 현상을 '불일치된 공변화(Misaligned Co-drift)'라고 부르며, 이는 전문가의 역할을 흐리게 하고 망각을 악화시킵니다. 이를 해결하기 위해, 우리는 경로 활성화 서브 공간(PASs)을 도입합니다. PASs는 각 전문가에서 입력이 활성화하는 저차원 경로 방향을 반영하는 LoRA에 의해 유도된 서브 공간이며, 라우팅 및 보존을 위한 기능과 일치하는 좌표계를 제공합니다. PASs를 기반으로, 우리는 두 가지 구성 요소인 PAS-가이드 재가중치화(PAS-guided Reweighting)와 PAS-인식 순위 안정화(PAS-aware Rank Stabilization)를 갖는 고정 용량의 PASs-기반 MoE-LoRA 방법을 제안합니다. PAS-가이드 재가중치화는 각 전문가의 경로 활성화 신호를 사용하여 라우팅을 조정하고, PAS-인식 순위 안정화는 이전 작업에 중요한 순위 방향을 선택적으로 안정화합니다. CIT 벤치마크에서의 실험 결과, 우리 방법은 추가적인 파라미터 없이 기존의 지속적 학습 기준 및 MoE-LoRA 변형보다 정확도 및 망각 방지 측면에서 일관되게 우수한 성능을 보입니다. 채택 시 코드를 공개할 예정입니다.

Continual instruction tuning (CIT) requires multimodal large language models (MLLMs) to adapt to a stream of tasks without forgetting prior capabilities. A common strategy is to isolate updates by routing inputs to different LoRA experts. However, existing LoRA-based Mixture-of-Experts (MoE) methods often jointly update the router and experts in an indiscriminate way, causing the router's preferences to co-drift with experts' adaptation pathways and gradually deviate from early-stage input-expert specialization. We term this phenomenon Misaligned Co-drift, which blurs expert responsibilities and exacerbates forgetting.To address this, we introduce the pathway activation subspace (PASs), a LoRA-induced subspace that reflects which low-rank pathway directions an input activates in each expert, providing a capability-aligned coordinate system for routing and preservation. Based on PASs, we propose a fixed-capacity PASs-based MoE-LoRA method with two components: PAS-guided Reweighting, which calibrates routing using each expert's pathway activation signals, and PAS-aware Rank Stabilization, which selectively stabilizes rank directions important to previous tasks. Experiments on a CIT benchmark show that our approach consistently outperforms a range of conventional continual learning baselines and MoE-LoRA variants in both accuracy and anti-forgetting without adding parameters. Our code will be released upon acceptance.