LVLM 모델과 인간의 참조 기반 의사소통 방식의 차이

LVLMs and Humans Ground Differently in Referential Communication

생성형 AI 에이전트가 인간 사용자와 효과적으로 협력하기 위해서는 인간의 의도를 정확하게 예측하는 능력이 매우 중요합니다. 하지만 이러한 협업 능력은 '공통 기반' 모델링의 부족으로 인해 여전히 제한적입니다. 본 연구에서는, 지시자-매치 파트너(인간-인간, 인간-AI, AI-인간, AI-AI) 간의 실험을 통해, 명확한 어휘적 라벨과 연결되지 않은 사물 그림을 매칭하는 방식으로 여러 턴을 반복하며 상호작용하는 실험을 진행했습니다. 데이터 수집을 위한 온라인 파이프라인, 정확성, 효율성 및 어휘 중복성을 분석하기 위한 도구, 그리고 356개의 대화(89개 쌍, 각 쌍당 4라운드)로 구성된 데이터셋을 공개합니다. 이 데이터셋은 LVLM 모델이 대화 과정에서 참조 표현을 해결하는 데 있어 가지는 한계를 드러내며, 이는 인간 언어 사용의 근본적인 기술입니다.

For generative AI agents to partner effectively with human users, the ability to accurately predict human intent is critical. But this ability to collaborate remains limited by a critical deficit: an inability to model common ground. Here, we present a referential communication experiment with a factorial design involving director-matcher pairs (human-human, human-AI, AI-human, and AI-AI) that interact with multiple turns in repeated rounds to match pictures of objects not associated with any obvious lexicalized labels. We release the online pipeline for data collection, the tools and analyses for accuracy, efficiency, and lexical overlap, and a corpus of 356 dialogues (89 pairs over 4 rounds each) that unmasks LVLMs' limitations in interactively resolving referring expressions, a crucial skill that underlies human language use.