플러그 앤 어댑트: 사전 학습된 정렬 모델을 활용한 멀티모달 코레퍼런스 해결 - 즉각적인 적용을 목표로

Plug-and-Adapt: Multimodal Coreference Resolution at First Sight with a Pretrained Alignment Model

시각 정보는 코레퍼런스 해결의 모호성을 줄여 성능 향상에 기여합니다. 그러나 기존의 멀티모달 코레퍼런스 해결(MCR) 방법은 대상 데이터셋에서 부분적으로 주석이 달린 데이터를 사용하여 학습해야 적용 가능하며, 이는 직접적인 사용성을 제한하고 일반화 능력에 대한 우려를 야기합니다. 수십억 개의 파라미터를 가진 비전-언어 대규모 모델(VLLM)은 뛰어난 제로샷 능력을 제공하지만, 여전히 접근성이 낮습니다. 이러한 모델의 거대한 크기는 배포를 어렵게 만들며, 많은 경우 유료 API를 통해서만 사용할 수 있습니다. 본 논문에서는 MCR 작업에 즉시 적용할 수 있도록 신중하게 사전 학습된 정렬 모델을 전략적으로 활용하는 플러그 앤 어댑트 방법을 제안합니다. 이는 희소한 벤치마크 데이터셋에 대한 학습이나 리소스 집약적인 VLLM 의존성을 없애는 것을 목표로 합니다. 구체적으로, 우리는 먼저 비전-언어 정렬 데이터셋을 사용하여 텍스트 및 시각 컨텍스트 정보 간의 미세하게 조정된 정렬 모델을 사전 학습합니다. 그런 다음, 이 정렬 모델을 증거 이론을 활용하여 시각적 단서와 범주형 정보를 결합하는 유사성 집계를 통해 MCR에 재사용함으로써 효과를 향상시킵니다. 코레퍼런스 이미지 내러티브(CIN) 벤치마크 데이터셋에 대한 실험 결과는 제안된 방법의 효과성을 입증하며, 기존 최첨단 전용 방법 및 인기 있는 VLLM 에 비해 CoNLL F1 점수에서 각각 5.31% 및 2.12% 향상을 달성했습니다. 또한, 우리는 견고성 테스트를 위해 마스크된 CIN 데이터셋과 일반화 능력 평가를 위한 특별히 구성된 VCR-MCR 데이터셋에 대한 실험을 통해 제안된 방법의 성능을 검증했으며, 그 결과는 이러한 기능을 모두 확인했습니다.

Visual information helps resolve ambiguity in coreference resolution, leading to notable performance gains. However, existing Multi-modal Coreference Resolution (MCR) methods require training with (partially) annotated data from the target dataset before they can be applied, preventing their direct usability and raising concerns about generalization. While Vision-Language Large Models (VLLMs) with billions of parameters offer promising zero-shot capabilities, they remain largely inaccessible. Their massive size limits deployability, and many are only accessible through paid APIs. In this paper, we propose a plug-and-adapt method that strategically adapts a carefully pre-trained \emph{alignment model} for immediate use in MCR tasks, designed to eliminate the need for training on scarce benchmark datasets or relying on resource-intensive VLLMs. Specifically, we first pre-train a fine-grained alignment model between textual and visual contextual information using vision-language alignment datasets. We then repurpose the alignment model to MCR through similarity aggregation by fusing visual and categorical cues with evidence theory, thereby enhancing effectiveness. Experiments on the Coreference Image Narratives (CIN) benchmark dataset demonstrate the effectiveness of our method, achieving a 5.31\% and 2.12\% improvement in CoNLL F1 over SOTA dedicated methods and popular VLLMs, respectively. We further evaluate our method on a masked CIN dataset for robustness testing and on a specially constructed VCR-MCR dataset for generalization assessment, with results confirming both capabilities.