QUACK: 다중 모드 소셜 디덕션 에이전트에서 전달되는 지식에 대한 질문, 이해 및 감사

QUACK: Questioning, Understanding, and Auditing Communicated Knowledge in Multimodal Social Deduction Agents

소셜 디덕션 게임은 대규모 언어 모델(LLM) 에이전트의 추론, 기만, 조정 및 믿음 모델링을 탐구하기 위한 인기 있는 테스트 환경으로 자리 잡았습니다. 그러나 대부분의 환경은 승률과 같은 게임 결과로 평가되며 텍스트 기반 상호 작용에 국한되어, 에이전트의 언어가 실제로 인지하고 수행한 내용에 근거하는 것인지, 또는 에이전트의 행동 뒤에 숨겨진 실패 요인을 파악하기 어렵습니다. 이러한 격차를 해소하기 위해, 우리는 다중 모드 소셜 추론에서 에이전트 언어의 타당성을 감사하기 위한 오픈소스 환경 및 평가 프레임워크인 QUACK을 소개합니다. QUACK은 게임 결과, 행동 경로 및 발화 수준 일관성이라는 세 가지 수준에서 에이전트를 평가합니다. 핵심인 진술 검증 파이프라인은 엔진 로그를 기반으로 각 에이전트의 실제 경로를 재구성하고 모든 토론 주장을 이에 대해 확인하여 공간적 환각, 근거 없는 비방, 기만 실패 및 언어-행동 불일치를 자동으로 식별합니다. 동질적인 환경과 교차 모델 적대적인 설정 모두에서 세 개의 최첨단 VLM을 평가한 결과, 가장 강력한 에이전트조차도 검증 가능한 공간적 주장의 15.1%를 환각하며, 증거 없이 절반 이상의 비방을 합니다. 전체 엔진, 평가 프레임워크, 도구 키트 및 로그는 https://github.com/AAAAA-Academia-Attractions/QUACK에서 확인할 수 있습니다.

Social deduction games have become a popular testbed for probing reasoning, deception, coordination, and belief modeling in Large Language Model (LLM) agents. However, most environments are scored only by game outcomes such as win rates and largely remain to text-only interaction, making it difficult to tell whether an agent's language is actually grounded in what it perceived and did, or to identify the failure modes underlying its behavior. To address this gap, we introduce QUACK, an open-source environment and evaluation framework for auditing the grounding of agent language in multimodal social reasoning. QUACK evaluates agents at three levels: game outcomes, behavioral trajectories, and utterance-level consistency. Its core Statement Verification Pipeline reconstructs each agent's ground-truth trajectory from engine logs and checks every discussion claim against it, automatically flagging spatial hallucination, unsupported accusation, deception collapse, and language-action inconsistency. Evaluating three frontier VLMs in both homogeneous and cross-model adversarial settings, we find that even the strongest agent hallucinates 15.1% of its verifiable spatial claims and makes over half of its accusations without grounded evidence. We release the full engine, evaluation framework, toolkit, and logs at https://github.com/AAAAA-Academia-Attractions/QUACK.