지속적인 지시 학습을 위한 점진적 다중 모드 정렬

Progressive Multimodal Alignment for Continual Instruction Tuning

다중 모드 대규모 언어 모델(MLLM)은 시각적 표현을 언어 임베딩 공간과 일치시키기 위해 투사체를 사용하며, 이는 상호 모달 이해의 핵심입니다. 그러나 다중 모드 지속 지시 학습(MCIT)에서 시각적 분포의 변화와 진화하는 지시 의미는 이러한 공유 투사체가 드리프트하게 만들고, 결과적으로 투사체 수준의 망각 현상이 발생합니다. 이러한 문제는 주로 LLM 백본에 초점을 맞춘 기존 방법에서는 간과되는 경향이 있습니다. 본 연구에서는 점진적 다중 모드 정렬(PMA)이라는 프레임워크를 제안합니다. PMA는 투사체가 이전에 학습된 정렬을 유지하면서 지속적으로 적응할 수 있도록 지원합니다. PMA는 가벼운 표현 기술자를 사용하여 다중 모드 분포의 변화를 감지하고, 필요한 경우에만 투사체 전문가를 점진적으로 확장합니다. 확장 가능한 라우터는 다중 모드 특징을 기반으로 전문가 출력을 통합하며, 원래 사전 훈련된 투사체는 안정적인 정렬 기준점으로 유지됩니다. 이러한 점진적인 메커니즘은 안정성과 유연성을 균형 있게 유지하며, LLM 백본의 파라미터 증가를 최소화합니다. 또한, PMA는 기존 MCIT 접근 방식에 독립적으로 적용될 수 있습니다. 두 가지 최신 MCIT 벤치마크에서의 광범위한 실험 결과, 투사체 수준의 망각을 완화하면 PMA와 결합했을 때 기존 최고 성능 방법을 능가하는 일관된 성능 향상을 얻을 수 있음을 보여줍니다. 또한, PMA는 다양한 MLLM 백본에서 확장 가능하며, 강력하고 광범위하게 적용 가능한 MCIT 성능을 제공합니다.

Multimodal Large Language Models (MLLMs) rely on a projector to align visual representations with the language embedding space, making it central to cross-modal understanding. In Multimodal Continual Instruction Tuning (MCIT), however, shifting visual distributions and evolving instruction semantics cause this shared projector to drift, leading to projector-level forgetting, an issue largely overlooked by methods that focus primarily on the LLM backbone. We introduce Progressive Multimodal Alignment (PMA), a framework that enables the projector to adapt continually while preserving previously learned alignment. PMA detects multimodal distribution shifts via a lightweight representation descriptor and progressively expands projector experts only when needed. An expandable router integrates expert outputs based on multimodal features, while the original pretrained projector is retained as a stable alignment anchor. This progressive mechanism balances stability and plasticity with sub-linear parameter growth and serves as a method-agnostic add-on to existing MCIT approaches. Extensive experiments on two recent MCIT benchmarks demonstrate that mitigating projector-level forgetting yields consistent gains over prior state-of-the-art methods when combined with PMA. Moreover, PMA scales across diverse MLLM backbones, demonstrating robust and broadly applicable MCIT performance.