다중 모드 비전-언어 모델에서의 인위적 지역 적응

Anthropogenic Regional Adaptation in Multimodal Vision-Language Model

비전-언어(VL) 분야는 다양한 언어 및 도메인에서 시각 및 텍스트 정보를 통합하는 데 놀라운 성공을 거두었지만, 비전-언어 시스템에서 인간 중심의 조화(alignment)를 평가하는 데 특화된 프레임워크는 아직 존재하지 않습니다. 본 연구는 이러한 격차를 해소하기 위해 두 가지 기여를 제시합니다. 첫째, 특정 지역적 맥락에 대한 모델의 관련성을 최적화하면서도 전반적인 일반화 능력을 유지하는 새로운 패러다임인 '인위적 지역 적응(Anthropogenic Regional Adaptation)'을 소개합니다. 둘째, 지역 데이터 필터링 및 모델 병합을 활용하는 간단하지만 효과적인 적응 방법인 '지리적 일반화 간소화(Geographical-generalization-made-easy, GG-EZ)'를 제시합니다. 대규모 비전-언어 모델, 텍스트-이미지 확산 모델 및 비전-언어 임베딩 모델, 그리고 동남아시아(SEA) 지역 적응 사례 연구를 포함한 포괄적인 실험을 통해, '인위적 지역 적응'의 중요성과 'GG-EZ'의 효과성을 입증했습니다. 실험 결과, 'GG-EZ'는 SEA 지역의 문화적 관련성 지표에서 5~15%의 성능 향상을 보였으며, 전반적인 성능을 98% 이상 유지했을 뿐만 아니라, 때로는 이를 능가했습니다. 본 연구는 다양한 지역에서 다중 모드 비전-언어 모델의 적용 가능성을 위한 기본적인 패러다임을 제시하며, 전반적인 일반화 능력을 유지하면서 지역적 가치 조화를 최적화하는 간단하면서도 효과적인 기본 방법을 입증합니다.

While the field of vision-language (VL) has achieved remarkable success in integrating visual and textual information across multiple languages and domains, there is still no dedicated framework for assessing human-centric alignment in vision-language systems. We offer two contributions to address this gap. First, we introduce Anthropogenic Regional Adaptation: a novel paradigm that aims to optimize model relevance to specific regional contexts while ensuring the retention of global generalization capabilities. Second, we present a simple, but effective adaptation method named Geographical-generalization-made-easy (GG-EZ), which utilizes regional data filtering and model merging. Through comprehensive experiments on 3 VL architectures: large vision-language models, text-to-image diffusion models, and vision-language embedding models, and a case study in Southeast Asia (SEA) regional adaptation, we demonstrate the importance of Anthropogenic Regional Adaptation and the effectiveness of GG-EZ, showing 5-15% gains in cultural relevance metrics across SEA while maintaining over 98% of global performance and even occasionally surpassing it. Our findings establish Anthropogenic Regional Alignment as a foundational paradigm towards applicability of multimodal vision-language models in diverse regions and demonstrate a simple-yet-effective baseline method that optimizes regional value alignment while preserving global generalization.