대규모 시각-언어 모델의 환각 현상 완화를 위한 동적 다중 모드 활성화 제어

Dynamic Multimodal Activation Steering for Hallucination Mitigation in Large Vision-Language Models

대규모 시각-언어 모델(LVLM)은 시각-언어 관련 작업에서 뛰어난 성능을 보이지만, 환각 문제에 어려움을 겪습니다. 본 연구에서는 LVLM의 활성화 패턴을 심층적으로 분석하여 다음과 같은 두 가지 중요한 사실을 밝혀냈습니다. 1) 모델 아키텍처 내에서 진실성 및 시각적 인지 능력은 주로 서로 다른 어텐션 헤드 집합에 의해 관여하며, 2) 진실성 제어 벡터는 다양한 의미적 맥락에서 크게 달라집니다. 이러한 관찰 결과를 바탕으로, 본 연구에서는 환각 현상 완화를 위한 훈련이 필요 없는 방법인 동적 다중 모드 활성화 제어(Dynamic Multimodal Activation Steering)를 제안합니다. 제안하는 방법은 의미 기반의 진실성 제어 벡터 데이터베이스를 구축하고, 시각적 인지 제어 벡터를 계산하여, 입력의 의미적 유사성을 기반으로 가장 관련성이 높은 제어 벡터를 동적으로 선택하고, 가장 영향력 있는 어텐션 헤드에 적용함으로써 추론 과정에서 맥락에 맞는 개입을 수행합니다. 다양한 모델과 데이터셋에 대한 광범위한 실험을 통해, 제안하는 방법이 모델 성능을 크게 향상시키며, 기존의 최첨단 방법보다 우수한 성능을 보임을 입증했습니다.

Large Vision-Language Models (LVLMs) exhibit outstanding performance on vision-language tasks but struggle with hallucination problems. Through in-depth analysis of LVLM activation patterns, we reveal two key findings: 1) truthfulness and visual perception capabilities predominantly engage different subsets of attention heads within the model architecture; and 2) truthfulness steering vectors vary significantly across different semantic contexts. Based on these observations, we propose Dynamic Multimodal Activation Steering, a training-free approach for hallucination mitigation. Our method constructs a semantic-based truthfulness steering vector database and computes visual perception steering vectors, enabling context-aware interventions during inference by dynamically selecting the most relevant steering vectors based on input semantic similarity and applying them to the most influential attention heads. We conduct comprehensive experiments across multiple models and datasets, demonstrating that our approach significantly enhances model performance, outperforming existing state-of-the-art methods.