ParVL: 다중 모드 대규모 언어 모델을 위한 병렬 확장 및 유연한 연산 할당

ParVL: Parallel Scaling and Expandable Compute Allocation for Multimodal LLMs

기존의 다중 모드 대규모 언어 모델(MLLM) 확장 전략은 일반적으로 모델 파라미터 또는 순차적 추론 계산을 확장하여 상당한 메모리 오버헤드나 지연 시간을 발생시킵니다. 더욱 중요한 점은, 대부분의 기존 방법이 비전 트랜스포머와 대규모 언어 모델 구성 요소 간의 경직되고 고정된 연산 할당 방식을 변경하지 못하여 작업별 최적화를 제한한다는 것입니다. 이러한 문제를 해결하기 위해, 본 논문에서는 다중 모드 대규모 언어 모델을 위한 병렬 비전-언어(ParVL) 확장 프레임워크를 소개합니다. ParVL은 기존의 ViT 및 LLM 기본 파라미터를 여러 비전 및 언어 분기로 재사용하여 병렬 연산을 확장합니다. 이 프레임워크는 다음과 같은 핵심 질문을 제기합니다: 고정된 기본 파라미터 예산이 주어졌을 때, 추가적인 공유 기본 연산은 비전 및 언어 모달리티 간에 어떻게 할당되어야 하는가? 본 연구에서는 각 병렬 연산 스트림을 공유 기본 구조 위에 분기별 접두사 파라미터를 사용하여 구현하고, 약 130억 개의 토큰으로 구성된 데이터셋에 대해 전체 모델을 end-to-end 방식으로 완전 파라미터 지도 미세 조정하여 학습했습니다. ViT 인코더와 LLM 디코더 간의 연산 할당 균형을 체계적으로 연구한 결과, ParVL은 동일한 구조를 가진 단일 분기 기반 모델보다 전반적인 다중 모드 성능이 향상되었으며, 최적의 비전-언어 할당 비율은 작업에 따라 달라지는 것으로 나타났습니다. 관련 코드는 다음 GitHub 저장소에서 확인할 수 있습니다: https://github.com/YangYangGirl/ParVL.

Existing scaling strategies for Multimodal Large Language Models (MLLMs) typically expand either model parameters or sequential inference computation, incurring substantial memory or latency overhead. More importantly, most existing methods fail to alter the rigid, fixed computation allocation between the Vision Transformer and the Large Language Model components, limiting task-specific optimization. To address this, we introduce the Parallel Vision-Language (ParVL) scaling framework for MLLMs, which scales parallel computation by reusing the existing ViT and LLM backbone parameters across multiple vision and language branches. This framework raises a central question: given a fixed backbone parameter budget, how should additional shared-backbone computation be allocated between the vision and language modalities? We instantiate each parallel computational stream with branch-specific prefix parameters over a shared backbone, and train the entire model end-to-end via full-parameter supervised fine-tuning on roughly 13B tokens. We systematically study the computation-allocation trade-off between the ViT encoder and LLM decoder. ParVL improves overall multimodal performance over same-recipe single-branch baselines, and the best evaluated vision--language allocation varies across tasks. Code is available at https://github.com/YangYangGirl/ParVL.