SAB-LVLM: 중요도 기반 이진화 기법을 활용한 대규모 비전-언어 모델

SAB-LVLM: Significance-Aware Binarization for Large Vision-Language Models

대규모 비전-언어 모델(LVLM)은 다중 모드 이해 측면에서 놀라운 발전을 이루었지만, 막대한 파라미터 규모와 모달 간 연산으로 인해 상당한 메모리와 지연 시간이 발생하며, 이는 자원이 제한된 환경에서의 실제 적용을 심각하게 제약합니다. 이진화는 저장 및 계산 비용을 획기적으로 줄여 매력적인 해결책을 제공합니다. 그러나 기존의 이진화 방법은 다양한 레이어와 모달 간에 존재하는 가중치의 중요도 차이를 고려하지 않습니다. 이는 다운스트림 작업과 관련 없는 파라미터가 불필요하게 유지되는 반면, 중요한 모달 관련 가중치가 충분히 최적화되지 않아 성능 저하를 초래합니다. 이러한 문제를 해결하기 위해, 본 연구에서는 대규모 비전-언어 모델(LVLM)을 위한 중요도 기반 이진화 기법인 SAB-LVLM을 개발했습니다. 구체적으로, 텍스트 및 이미지 입력에 대한 헤세 행렬을 구성한 후, 단일 모달에서 활성화되는 가중치와 여러 모달에서 활성화되는 가중치를 구분하는 공간적 중요도 지도를 제안합니다. 이후, 모달 정보를 활용하여 중요도 기반 이진화 지도를 생성하며, 이는 레이어 및 모달 간의 가중치 중요도를 측정합니다. 이렇게 얻어진 이진화 지도는 이진화 목적 함수 내에서 오류 재가중치 항으로 통합되고, 교차하는 중요도 가중치를 사용하여 이진화 과정을 수행합니다. 광범위한 실험 결과, SAB-LVLM이 기존의 바이너리 양자화(PTQ) 방법보다 약 1비트 수준의 압축 제약 조건 하에서 우수한 성능을 보이는 것을 확인했습니다. 본 연구의 코드는 https://github.com/LyuQi127/SAB_LVLM 에서 확인할 수 있습니다.

Large Vision-Language Models (LVLMs) have achieved remarkable progress in multimodal understanding, yet their enormous parameter scale and cross-modal computation incur substantial memory and latency overhead, severely limiting real-world deployment on resource-constrained devices. Binarization offers an attractive solution by drastically reducing storage and computational costs. However, existing binarization methods neglect the varying importance of weights across different layers and modalities. This causes parameters irrelevant to downstream tasks to be unnecessarily retained, whereas modality-critical weights may not be adequately optimized, resulting in significant performance degradation. To address these challenges, we develop a novel \underline{S}ignificance-\underline{A}ware \underline{B}inarization for \underline{L}arge \underline{V}ision-\underline{L}anguage \underline{M}odels (SAB-LVLM). Specifically, after constructing Hessian matrices for textual and visual inputs, we propose a spatial significance map to distinguish full-precision weights activated under a single modality from those activated across modalities. We then devise a modality-guided integration strategy to obtain the significance-aware binarization map, which measures weight significance across layers and modalities. Subsequently, this binarization map is incorporated into the binarization objective as an error reweighting term, and binarization fitting is performed through an alternating significance-weighted update scheme. Extensive experiments illustrate the superiority of our SAB-LVLM over existing binary PTQ methods under an approximately 1-bit compression constraint. Our code is accessible at https://github.com/LyuQi127/SAB_LVLM.